Если у вас 2x10G т.е. в случае inffiniband — ~2 гигабайта в секунду, а в случае ethernet — и еще чуть побольше, то вы уже можете упереться не в процессор, а в чипсетный SATA. Точнее, в то место, где этот чипсет соединен с процессором (по DMI-шине).
Формально у DMI что-то в районе 2 гигабайт/сек, но я уже читал, что в тестах RAID-ов из SSD подключенных к чипсетным (наплатным) SATA насыщение происходит раньше.
По конкретному вопросу: У меня именно PCI-e. Mellanox MHEA-28. Посмотрел на ebay, они с прошлого года подорожали, стоят по $55 и предложение сильно меньше. Это PCIe-1.1 карты (8x), т.е. при полной загрузке, по 8 гигабит пейлоада в каждую сторону — шина конечно не будет тянуть.
По общему вопросу: автор сейчас уперся в 1G. Как только он через это горлышко пролезет (можно пролезть, например, через несколько 1G линков и iSCSI Multipath) — он упрется в следующее и оно сильно ближе, чем кажется.
Никаких проблем с TCP/IP поверх Infiniband в первом приближении нет. На 2-килобайтных пакетах все просто работает, на 64k (connected mode)- я сталкивался с проблемами в паре FreeBSD-Windows, а FreeBSD-FreeBSD, Windows-Linux, Windows-Windows и Linux-Linux все просто работало.
Оно процессор немного грузит, но именно что немного.
У меня там это не написано явно (неявно — в следующих частях).
Блочные алгоритмы дают выигрыш на порядки (!) т.к. отношение (быстрой) арифметики к (медленным) операциям по памяти резко улучшаются.
Использование SIMD на современных процессорах даст еще почти порядок (начиная с i7 — 8 fp32 инструкций на такт).
Использование многопоточности — еще по числу ядер.
На этом фоне выигрыш Штрассена у обычных алгоритмов сложностью N^3 будет не виден.
Заливая по гигабиту (120Mb/sec в пределе, а по факту наверное сильно ниже?) вы не упретесь в CPU/память на современных процессорах.
Я уперся когда перешел на 10G (сначала infiniband, а потом на ether, IB в FreeBSD работает странно). И апгрейд процессора (с Core2 на i7-SandyBridge) повысил скорость записи очень заметно. Вот сводная табличка: blog.lexa.ru/2012/04/14/opyat_snova_o_proizvoditelnosti_zfs.html
ZFS (RAIDZ в моем случае) очень чувствительна к скорости памяти. Ну и нагрузку на CPU создает вполне заметную, 30-40-50% на современном десктопном процессоре — запросто.
Это для небольших домашних сторадж-боксов терабайт на 10, к которым ходят по 10G-сети. Понятно, если ходить по гигабиту, то упретесь в гигабит, а не в диски-CPU-память.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Формально у DMI что-то в районе 2 гигабайт/сек, но я уже читал, что в тестах RAID-ов из SSD подключенных к чипсетным (наплатным) SATA насыщение происходит раньше.