Как построить локальную сеть с пропускной способностью более 1гбит/с?

Question

[Кирилл Воронцов]

Возможно ли создать локальную сеть на 3 компьютера с пропускной способностью более 1гбит/с? Если да, то как и сколько денег на это нужно потратить?

Comments

[Кирилл Воронцов]

Задача примерно такая — в папке лежат 200гигов видео, тысячи tif-ов и т.п. 2 компьютера читают эти файлы непрерывно в процессе импорта/монтажа/конвертации видео, а потом рендерят это все последовательность tiff-ов длиной в примерно 100000 файлов.

Answer 1

[lexa]

Тут на мой блог сослались, я по статистике увидел — и пришел.

Самая дешевая 10G-сеть — это 3 2-портовых infiniband-карточки и два кабеля. Мне обошлось где-то в $150 (карточки по $23 + доставка, кабели — что-то по $30, все с ebay). Самая засада — кабели, они бывают хорошие, а бывают — нет.
Дальше 3 машины объединяем, пускаем по этому делу IP (это легко и просто) и сеть работает.

Но проблема ваша будет скорее всего не в сети, а в обеспечении быстрого одновременного доступа к HDD сервера (если там HDD с круглыми пластинами, а не SSD). Т.е. вот лично я бы, при описанной схеме работы, делал бы «скачивание заданий на локальный диск рабочей станции» и работу с локальным (SSD?) диском.

Т.е. вот на моем личном опыте, два параллельных бэкапа, один по 10G-сети (самба), второй по гигабиту — конструкцию из 5-ти медленных HDD (в ZFS-е) легко насыщают и мешают друг другу.

Comments

[esc]

Без обид, но и вы туда-же. Автор же описал конкретную проблему. Наверное, если бы hdd не тянули, вопрос звучал бы иначе (или он бы спрашивал, как это проверить). Ясно, что 10G даже много винтов может увалить, но никто ж не говорит что ему надо именно все 10. Судя по его задаче, быстрее в процессор рабочей станции упрется, чем в винты, как по мне. Но смысла гадать, нет.

По ценам infiniband действительно выходит выгоднее. Они бывают pci-ex? А то покупать мать с pci-x ради этих карт уже не так интересно.

[lexa]

По конкретному вопросу: У меня именно PCI-e. Mellanox MHEA-28. Посмотрел на ebay, они с прошлого года подорожали, стоят по $55 и предложение сильно меньше. Это PCIe-1.1 карты (8x), т.е. при полной загрузке, по 8 гигабит пейлоада в каждую сторону — шина конечно не будет тянуть.

По общему вопросу: автор сейчас уперся в 1G. Как только он через это горлышко пролезет (можно пролезть, например, через несколько 1G линков и iSCSI Multipath) — он упрется в следующее и оно сильно ближе, чем кажется.

[Кирилл Воронцов]

lexa, Сервер будет состоять из sdd, как раз для того чтобы уйти от «скачивания заданий на локальный диск». А уйти очень надо. Я так полагаю следующим узким местом будет процессор, так?

[lexa]

Если у вас 2x10G т.е. в случае inffiniband — ~2 гигабайта в секунду, а в случае ethernet — и еще чуть побольше, то вы уже можете упереться не в процессор, а в чипсетный SATA. Точнее, в то место, где этот чипсет соединен с процессором (по DMI-шине).

Формально у DMI что-то в районе 2 гигабайт/сек, но я уже читал, что в тестах RAID-ов из SSD подключенных к чипсетным (наплатным) SATA насыщение происходит раньше.

Answer 2

[JDima]

8-портовый управляемый свитч. По две сетевухи на компьютер с агрегацией. Формально будет «более 1гбит/с», т.е. при благополучном расположении звезд и многопоточной передаче — аж 2гб/с.

Comments

[Laroy]

Согласен, на 3 компа агрегация даже 10 портов будет дешевле, чем покупка 10G.

[Кирилл Воронцов]

Спасибо. Нашел сетевую pci-карту на 4 гигабитных разъема за 5000р., мне кажется, оправданная плата за такое удовольствие.

[JDima]

Только ключевое слово — «многопоточной». Один поток не сможет выжать более 1гб/с. Если нужно, чтобы именно один поток был шире 1G — смотрите в сторону 10G, но там уже другие расценки.

[Кирилл Воронцов]

А что считать одним потоком? В этой теме я плохо разбираюсь.

[track]

В зависимости от того, что по этим сетевым интерфейсам пойдет. Но в общем случае — пары IP-источника/IP-приемника

[JDima]

Но в общем случае — пары IP-источника/IP-приемника

Могут еще номера портов смотреть. Cетевушки однозначно должны уметь 5-tuple, а вот свитч — смотря какой.

Answer 3

[Влад Животнев]

Под виндой это мечта. Для линуксов есть патч в механизм bonding, который позволяет использовать полноценно bonding-интерфейсы (т.е. по NFS на один файл выжимать 3 gbps, например).
Вообще же под винду есть bonding(там он teaming называется), но один файл вы всё равно будете качать упираясь в один физический интерфейс.

Есть смысл попробовать переносить файлы торрентами или aerofs. Торренты точно легко забивают сколько угодно интерфейсов, aerofs должна сделать тоже самое на больших файлах. На мелких вы просто упретесь в логику.
Со стораджем — мечта. Samba вообще толком не умеет с bonding-ом работать, FTP почти не умеет… NFS — несколько файлов по разным интерфейсам физическим разве что. Ну и так далее.

Comments

[ValdikSS]

В линуксе есть и teaming, причем он идет на смену bonding, но он больше userspace и только недавно появился.

Answer 4

[amc]

В вашем случае надо решать в лоб, 10Гб (однопортовые) карточки во все компы и «сервер», один 10Гбитный свитч на 8 портов.
Это однозначно вам поднимет скорость (в отличии от teaming'a 1Гбит карточек).

Дорого, но не потребует вообще никаких дополнительных телодвижений для настройки, воткнул — работает.

Comments

[Александр]

10G это оптика? Просто интересно.

[esc]

Можно и по меди. Для трех машин, вместо дорогого 8портового свитча, лучше, возьмите x520-da2 из совета ниже и соедините напрямую. Для большего машин уже лучше свитч, конечно.

Answer 5

[Lampus]

Быстрое гугление подсказывает что Infinyband не такое ж и дорогое удовольствие:
blog.lexa.ru/2012/02/10/10g_doma_pervye_uspekhi.html
Вот карточки на eBay:
www.ebay.com/itm/Mellanox-InfiniHost-MHET2X-1TC-2-Port-10Gb-s-InfiniBand-HCA-PCI-X-Card-45-/140876672901?pt=US_Internal_Network_Cards&hash=item20cce76f85
И ещё статья на хабре:
habrahabr.ru/post/120393/

Comments

[track]

Infiniband это все же не вполне та «сеть», которую привыкли так называть. Чтобы сделать по ней TCP/IP все же придется погуглить как минимум.

[esc]

PCI-X? Под нее еще металлолом надо будет собрать, чтобы было куда вставить;)

[lexa]

Никаких проблем с TCP/IP поверх Infiniband в первом приближении нет. На 2-килобайтных пакетах все просто работает, на 64k (connected mode)- я сталкивался с проблемами в паре FreeBSD-Windows, а FreeBSD-FreeBSD, Windows-Linux, Windows-Windows и Linux-Linux все просто работало.
Оно процессор немного грузит, но именно что немного.

Answer 6

[esc]

Intel x520-da2 это 10Г двухпортовые карты с возможностью прямого соединения. Подключаете на одной машине такую карту, на остальных можно однопортовые (но по цене они все в районе 500$). Кабель можно использовать медный, 7й категории.

Comments

[amc]

У топикстартера 3 клиентских машины и 1 «сервер», как будете в этом случае цеплять с одной двухпортовой сетевухой?

[DevMan]

amc, сервер откуда нарисовался (вроде речь только о 3-х PC)?

[esc]

Поддерживаю, написано что 3 машины всего.

[amc]

DevMan, esc habrahabr.ru/qa/27459/#answer_110805

[Кирилл Воронцов]

amc, Моя неточность, да, подцеплено будет только 2 машины.

[Кирилл Воронцов]

Спасибо, esc. Ваш вариант мне нравится больше, чем вариант lexa, но время для таких бюджетов еще не пришло.)

Answer 7

[Дмитрий Горячев]

Если не секрет под какие нужды?

Comments

[Кирилл Воронцов]

Сетевой монтаж и рендер видео силами нескольких пк. Перенос туда-сюда рабочих файлов на внутренний ссд каждого компьютера требует слишком много времени и внимания, т.к. объемы единовременно используемых файлов часто превышают 200гб. Поэтому планируется сборка ssd+hdd-сервера, к которому будут подцеплены 2-3 машины.

[jj_killer]

А вы не думали использовать внешний дисковый массив по FC?

[track]

По блочным протоколам (FCP как раз блочный протокол) не получится использовать один дисковый ресурс на запись-чтение совместно. Кластерная FS это либо очень небесплатно, либо для очень яйцеголовых.
А у автора, как я понимаю, именно хадача совместного использования

[track]

NFS и CIFS это не блочные протоколы, выше же разговор про FCP начался.
NFS или CIFS/SMB2.0 использовать конечно можно и нужно.

[track]

MelioFS. Ну и CSV в Hyper-V, на базе NTFS. Но первое стоит существенных денег, а второе — только внутри Hyper-V.

Answer 8

[IvanFF]

И сколько это Вы представляете сколько шпинделей придется использовать чтобы такую полосу загрузить? В SSD видимо смысла нет, т.к. если нужна такая скорость, то и объемы данных не маленькие.

Comments

[Кирилл Воронцов]

Чтобы загрузить 1G lan достаточно одного, не самого медленного HDD.

[esc]

Написано, 200 гигов. Один vertex4 на 256ГБ Легко выжмет 2.5Гбита в небольшое число потоков. Ставите 4, получаете десятку;)

Answer 9

[kirushik]

Можно купить три таких: www.amazon.com/Intel-Gigabit-Dual-Server-Adapter/dp/B001AGFXTQ/ref=sr_1_1?ie=UTF8&qid=1352147437&sr=8-1&keywords=10Gbit+nic и соединить их такими кабелями (http://www.amazon.com/Cable-Matters-Screened-Shielded-Snagless/dp/B004NPL4YE/ref=sr_1_3?s=electronics&ie=UTF8&qid=1352147706&sr=1-3&keywords=cat6a) попарно троих.

Что-то в районе трёх тысяч долларов всё это удовольствие выйдет. Что будет софтово с этими карточками под Винду — не могу сказать (возможные места возникновения проблем — возможности драйверов, возможности правильного роутинга кольцевой топологии, общие тормоза сетевого стека под такую скорость, тормоза Самбы/чем Вы там будете шарить файлы).