Как через коммутаторы получить соединение между Linux серверами 2 Гбит\с?

Question

[juffinhalli]

Дано:
2 сервера под управлением Debian Linux
В каждом сервере выделено 2 сетевые карты
2 одинаковых коммутатора с поддержкой IEEE 802.3ad\LACP (netgear GS748T)
Схема подключения:
------------ ----------------- ----------------- -------------------
| linux... | eth0------port1 | умный.......... | port3-----port1 | умный.........| port3 -------eth0 | второй linux |
| сервер | eth1------port2 | коммутатор | port4-----port2 | коммутатор | port4--------eth1 | сервер...........|
------------ ----------------- ----------------- -------------------
Сетевые настройки на серверах идентичны:

auto bond0
iface bond0 inet static
        address  192.168.88.xx
        netmask  255.255.255.0
        slaves eth0 eth1
        bond_miimon 100
        bond_mode 802.3ad
        bond_xmit_hash_policy layer3+4

Задача:
получить через коммутаторы соединение между Linux серверами 2 Гбит\с (многопоточное)
Мои действия:
Для проверки подключаю сервера напрямую друг к другу и запускаю тест в 2 потока:

root@node178:~# iperf -c 192.168.88.1 -P 2
------------------------------------------------------------
Client connecting to 192.168.88.1, TCP port 5001
TCP window size: 19.6 KByte (default)
------------------------------------------------------------
[  4] local 192.168.88.2 port 41924 connected with 192.168.88.1 port 5001
[  3] local 192.168.88.2 port 41923 connected with 192.168.88.1 port 5001
[ ID] Interval       Transfer     Bandwidth
[  4]  0.0-10.0 sec  1.10 GBytes   941 Mbits/sec
[  3]  0.0-10.0 sec  1.10 GBytes   941 Mbits/sec
[SUM]  0.0-10.0 sec  2.19 GBytes  1.88 Gbits/sec
root@node178:~#

Отключение любого одного кабеля не прерывает соединение, лишь падает скорость.
Изменение bond_xmit_hash_policy в значения layer2 или layer2+3 прироста скорости не даёт, только отказоустойчивость.
Далее включаю LACP на коммутаторах, перекидываю кабели и проверяю

root@node178:~# iperf -c 192.168.88.1 -P 2
------------------------------------------------------------
Client connecting to 192.168.88.1, TCP port 5001
TCP window size: 19.6 KByte (default)
------------------------------------------------------------
[  4] local 192.168.88.2 port 41926 connected with 192.168.88.1 port 5001
[  3] local 192.168.88.2 port 41925 connected with 192.168.88.1 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 9.6 sec   536 MBytes   468 Mbits/sec
[  4]  0.0-10.0 sec   587 MBytes   492 Mbits/sec
[SUM]  0.0-10.0 sec  1.10 GBytes   941 Mbits/sec

Вновь проверяю: отключение любого одного кабеля не прерывает соединение, скорость прежняя 941 Mbits/sec
Получается LACP на коммутаторах работает, но только на половину - обеспечена только отказоустойчивость.
Возможности менять hash_policy на коммутаторах нет.
Вопросы:
1. Netgear меня обманул заявив полную поддержку IEEE 802.3ad(т.к. обеспечена только отказоустойчивость)?
2. В linux в модуле ядра стандарт IEEE 802.3ad реализован не полностью(т.к. увеличение скорости возможно только при прямом подключении)?
3) Как всё же получить через коммутаторы соединение между Linux серверами 2 Гбит\с (многопоточное).
P.S. Готов заказать другие коммутаторы
P.P.S. Cisco мне не по карману.
P.P.P.S Под много поточным подразумеваю передачу данных в двух потоках в одну и ту же сторону

Answer 1

[Андрей]

Если нужно по результирующему линку гонять соединения только между 2-мя серверами, то поможет режим balance-rr (bond_xmit_hash_policy его умеет) - он делит трафик не по адресам/макам/итп, а последовательно каждый следующий пакет отправляет то туда, то сюда.

Фундаментальный вопрос: какой стандарт портов в сетевых картах и коммутаторах? 1000Base-T или 1000Base-TX?
Дело в том, что стандарт ТX даёт гигабит в каждом направлении по одному линку, когда T подразумевает гигабит в сумме входящего/исходящего направлений. Сетевухи могут быть TX, но коммутаторов, поддерживающих TX, я видел лишь единицы, и стоили они дорого.
Так вот прикол в том, что стандарт Т - это узкое место, и если коммутаторы не поддерживают TX (а по тестам я предполагаю, что это так), то одновременно 2 гигабита туда и 2 гигабита обратно не будет никогда.

Так вот, ответы:
1. Возможно, нет, надо сначала посмотреть на тип портов и убедиться в том, что "затык" может быть именно в этом
2. Полностью. Как правило, если соединений много, то layer2+3, layer3+4 и т.п. - они работают замечательно и стараются сбалансировать трафик максимально ровно, однако при одном компьютере (и особенно на одном соединении, которое генерирует iperf!) смысла в них крайне мало, поэтому такой тип трафика нормально балансировать будет только round-robin.

UPD:
Посмотрел, в этой модели порты "IEEE 802.3ab 1000BASE-T Gigabit Ethernet", т.е. по каждому гигабит будет в сумме направлений. В таком случае о полных 2-х гигабитах рекомендую временно забыть и проверять iperf-ом трафик не одновременно, а сначала в одну, потом в другую сторону, и следить при этом за равномерностью загрузки линков (с точки зрения коммутатора), включив со сторон серверов round-robin. Если трафик по обоим каналам будет идти равномерно, значит проблема только в типе порта. Значит надо искать коммутатор с поддержкой 1000BASE-TX

Comments

[juffinhalli]

Мысль понял, но одновременно получать в оба направления гигабит не надо.

[Андрей]

Обновил ответ. Там рекомендация в последнем абзаце.

[juffinhalli]

Трафик будет ходить не только между серверами. А так balance-rr работает очень хорошо в сети без аппаратных коммутаторов..

[Андрей]

В таком случае можно здесь нужно проверять в боевых условиях, когда несколько IP, несколько маков, разные соединения, и пр. В интерфейсе коммутатора должны быть или графики, или статистика скорости в цифрах.
Я тут поискал, люди проверяли тип балансировки и выявили, что в этой модели используется dst-mac. Если маков будет много, то сильно напрягаться, думаю, и не надо будет :)

[throughtheether]

Андрей:

Дело в том, что стандарт ТX даёт гигабит в каждом направлении по одному линку, когда T подразумевает гигабит в сумме входящего/исходящего направлений.

Вот этот момент проясните, будьте добры. Исходя из чего вы делаете такой вывод?

[Андрей]

throughtheether: Исходя из стандартов. В IEEE 802.3ab (1000BASE-T, опубликован в 1999г.) сказано, что каждая пара в один момент времени может работать или на прием, или на передачу, и при этом максимальная скорость по каждой паре составляет 250Мбит/с, что даёт нам гигабит _в сумме_ всех пар и направлений.
Есть же расширение этого стандарта, принятое в 2001 году (ANSI/TIA/EIA-854-2001), в котором указано, что 2 пары работают строго на прием, 2 пары - строго на передачу, при этом каждая пара передает 500Мбит/с, что даёт нам гигабит в одну сторону и гигабит в другую _одновременно_.
Однако EIA-854 предъявляет более высокие требования к физической среде за счет того, что там нет схемы компенсации наводок и помех, и поэтому рекомендуется использовать для него UTP CAT-6, ну либо вполне можно соединить 2 порта патч-кордом 5-й категории, если они рядом находятся. Имел в своём опыте 2 сетевые с портами 1000BASE-TX и, соединив их патчем 5-й категории, успешно гонял туда-сюда больше гигабита в сумме. Грустно только, что стандарт этот широкого распространения не получил.

Оптика, например, имеет ту же пропускную способность, что и 1000BASE-TX, поскольку один лазер мигает в одну сторону, другой независимо в другую (по разным волокнам, либо по одному в случае частотного разделения WDM), каждый на гигабите. В витухе же в этом случае ту же роль выполняют 2 пары в каждую сторону. В связи с этим существует внезапный для обывателя подводный камень: чтобы не образовать узкое место при переходе из оптики в витую на 1000BASE-T портах, необходимо там поднять хотя бы LACP на 2х витухах (либо снизить нагрузку на витуху другими способами: деление трафика, обработка самом оборудованием, и т.п.). В высоконагруженных системах это очень актуально, и сталкивался я с этим неоднократно.

Вот здесь некоторое объяснение разницы: www.tlu.ee/~matsak/telecom/cabling/eu_generic_cabl...

А вот здесь: standards.ieee.org/getieee802/download/802.3-2012_... на 180-й странице как раз и описана работа стандарта 1000BASE-T, который сейчас принят почти везде.

[Андрей]

EIA-854 для пруфа, к сожалению, быстро нагуглить не удалось, есть лишь множество платных источников этого стандарта. Однако личный опыт солидарен с тем, что про него пишут в различных статьях.

[throughtheether]

Андрей:

Вот здесь некоторое объяснение разницы: www.tlu.ee/~matsak/telecom/cabling/eu_generic_cabl...

по вашей ссылке:

Gigabit Ethernet 1000Base-T specified in the standard IEEE 802.3ab uses transmission technique, in which the transmitted 1000 Mbit/s data signal is splitted into four sub-signals. The data transmission rate of each sub-signal is 250 Mbit/s. These four 250 Mbit/s signals are transmitted over the four pairs of the cable and at the receiver end they are combined again to form 1000 Mbit/ signal. Transmission mode is full duplex, which means that bi-directional and simultaneous 250 Mbit/s transmission is used on each pair.

Откуда вы взяли про 1 гигабит "в сумме входящего/исходящего направлений"? Каждая пара передает и одновременно (full duplex, bi-directional) принимает 250 мегабит/c. В сумме получается 1 гигабит/с в полнодуплексном режиме.