 Автор |
Сообщение |
Arkan
Гуру
 |
|
Резервные копии больших обьемов информации
Есть несколько файловых серверов внутри корпоративной сети
Каждая файлопомойка общей вместимостью от примерно 8 до 16 ТЕРАБАЙТ
За рабочий день изменяется или дополняется примерно от 1.5 до 3 терабайт информации
Собственно вопрос:
Каким макаром бекапить от 1.5 до 3 терабайт информации за время 12 часов (с 9 вечера до 9 утра)
В данный момент имею сервера под резервные копии которые кроном (планировщиком) это все бекапят по сети через дополнительные гигабитные сетевые карточки
Покупать 10 гигабитные сетевушки точно не выход, да и дороговаты они
Какие еще имеются варианты ?
Дисковые полки с дополнительными RAID карточками ? но это же не резервирование, если сервак откажет то на вытаскивание резервной копии из дискового массива довольно проблемотично
Как на счет файлового кластера ? |
|
 |
|
 |
woddy
Гуру
 Предупреждений : 1
|
|
две-четыре гигабитных сетевушки в транк не спасут тебя? раз десятки не хочешь покупать
но и десятки стоят сегодня не запредельно... |
|
| |
|
|
Arkan
Гуру
|
|
| woddy писал(а): |
две-четыре гигабитных сетевушки в транк не спасут тебя?
|
Думал об этом
на части серверах транк решит проблемму
а вот другая проблемма что между некоторыми серваками по два комутатора
Сетевая карта Intel X540-T2 (Ethernet, 10GBase-T, 10 Gigabit Ethernet, 2-ports) Retail -- 17 990 рубликов |
|
| |
|
|
k0stE
Гуру
|
|
| |
|
|
napaster
Продвинутый форумчанин
 |
|
10г то 10г, но вот что делать с пограничными свичами, на коих нету 10г...
агрегировать 2г ) |
|
| |
|
|
zmeeed
Эксперт
 |
|
| а по скорости винтов пролезете? запись-чтение такого объема может дать просадку по этому параметру. |
|
| |
|
|
napaster
Продвинутый форумчанин
|
|
| ну видимо раз про 10г говорят, планируют пролезьте по скорости дисковой подсистемы |
|
| |
|
|
ProFfeSsoRr
Гуру
 |
|
Infiniband купи, он дешевый. Только везти из штатов долго будешь. Но он клевый, мне понравился вполне 
P.S. Вы там что, рефераты на заказ пишите что ли, что на файлопомойках такие объемы? 
P.S. А еще External-SAS на хабре кто-то мутил, помнится. У тебя это вообще в разных датацентрах всё или на одной площадке? |
|
| |
|
|
k0stE
Гуру
|
|
ProFfeSsoRr, Infiniband для него не выход, если он 10G не может применить.
| Arkan писал(а): |
| Покупать 10 гигабитные сетевушки точно не выход |
Даже 20G IB карты можно купить по тыщ пять, но я так понимаю физически в один коммутатор их подключить нельзя, иначе в чем бы была сложность. |
|
| |
|
|
Arkan
Гуру
|
|
| zmeeed писал(а): |
| а по скорости винтов пролезете? запись-чтение такого объема может дать просадку по этому параметру. |
Дисковая подсистема только на SSD и только под RAID5 - внутри серваков скорости хорошие
на серверах под резервирование уже простые 2 терабайтники в несколько RAID
Но вот с бекапами вообще в последнее время попадос полный
Сейчас как последний день перед отпуском отключил резервирование второстепенной информации что бы хватало времени на копирование важного г...вна, недельку отдохну и что либо придумаю потом
У меня терминальные и файловые сервера в 4 разных зданиях, возле каждых ставить резервирование (еще один сервак) пока не представляю возможным
Кстати не надо думать что забить 16 терабайт всякой информацией это так сложно - дайте волю каждому юзверю и халявный инет и все накачают
Музыки и фильмов у меня на файлопомойках нет, за то есть базульки 1С под 350 гигов, сколько файловых базулек да даже и не пытался считать
А люди то работают...
| k0stE писал(а): |
ProFfeSsoRr, Infiniband для него не выход, если он 10G не может применить.
| Arkan писал(а): |
| Покупать 10 гигабитные сетевушки точно не выход |
Даже 20G IB карты можно купить по тыщ пять, |
Этож хде такое дают ??? |
|
| |
|
|
ProFfeSsoRr
Гуру
|
|
| Цитата: |
Этож хде такое дают ??? |
ebay, где ж еще. Весь IB в Америке, там вон гики типа меня домой себе сеть на IB делают, потому что цена смешная Б/у разумеется, не новье, но так новье и не нужно (оно минимум от 40Гбит начинается сейчас).
| Цитата: |
Дисковая подсистема только на SSD и только под RAID5 |
статью про то, чем RAID плох для SSD на хабре читал? Хотя ты если такое юзаешь и сам уже должен был заметить. Я сразу SSD внедряю туда, где резервирование выше, приложением (ну у меня под БД они в основном - потому реплики и бекапы, реплики и частые бекапы... ) |
|
| |
|
|
Arkan
Гуру
|
|
| ProFfeSsoRr писал(а): |
| статью про то, чем RAID плох для SSD на хабре читал? Хотя ты если такое юзаешь и сам уже должен был заметить. Я сразу SSD внедряю туда, где резервирование выше, приложением (ну у меня под БД они в основном - потому реплики и бекапы, реплики и частые бекапы... ) |
Не читал и скорее всего читать не буду
у меня на 2 терминальниках воткнуты SSD уже третий год полет отличнейший, точнее уже четвертый пошел, винты правда интеловские а не адата
хотя на одном терминальнике как раз и ADATA и уже полтора года полет нормальный
Я раньше извращался дома сетями, сейчас на это времени совершенно нет так как с утра до ночи на работе - скоро мое место освободится и ЗП до 60к, кто в поисках того направлю по нужному адресу
Хочу место поспокойнее даже за 35к согласен уже, лиж бы с 8-00 до 17-00 |
|
| |
|
|
ProFfeSsoRr
Гуру
|
|
Ну смысл в том, что тормознее SSD в рейде могут быть, чем без него. Это если в двух словах.
За 35 говоришь... |
|
| |
|
|
Epsilon
Гуру
 |
|
| Arkan писал(а): |
....
Собственно вопрос:
Каким макаром бекапить от 1.5 до 3 терабайт информации за время 12 часов (с 9 вечера до 9 утра)
.... |
Уточните пожалста: 3Тб информации - это 3 Тб новых и/или изменнённых файлов? Или из них можно по дате модификации вытащить дельту? Это умеют решать rsync/unison.
Требования к хранению и число копий - не озвучено....
P.S. вроде как чисто по пропускной способности сети вы в гигабит влазите даже при копировании 3Тб за 10 часов - это 83.3 Мб/сек....
Путём параллельной передачи данных по 2 каналам вы можете ускорить слив данных. link aggregation для слива кучи файлов не обязателен, главное чтобы свитчики по пути от сервера до хранилки не упёрлись в скорость коммутации (чтобы можно было организовать 2 не мешающихся канала по гигабиту, без бутылочных горлышек в 1 линк).
И часть данных - иногда известно что что-то из данных уже поменяется и это что-то можно слить (с ограничением занимаемой полосы) даже днём....
При сливе больших данных обязательно надо учесть iops шпиндельных винтов - он позволит вам классно просесть по скорости записи и чтения - надо грамотно рассчитать систему хранения и учесть мелочёвку при сливе данных.Последний раз редактировалось: Epsilon (Сб 18-10-14 : 00-07), всего редактировалось 3 раз(а) |
|
| |
|
|
Epsilon
Гуру
|
|
| ProFfeSsoRr писал(а): |
Ну смысл в том, что тормознее SSD в рейде могут быть, чем без него. Это если в двух словах.
За 35 говоришь... |
Обмен работами чувствую я, мои юные друзья.... |
|
| |
|
|
k0stE
Гуру
|
|
| |
|
|
|
