Сколько нужно пропускной способности SAN по iscsi при 1000iops?

Question

[FloorZ]

какая нужна пропускная способность сети для SAN на каждые 1000iops по протоколу iscsi?

Answer 1

[Алексей Черемисин]

"А не посчитать ли нам, уважаемые Кроты" (Дюймовочка).
1000 iops = 1000 операций ввода вывода в секунду. Предположим, что у нас 80/20% чтение/запись блоками по 128 килобайт. Так как чтение/запись у нас полнодуплексная, то примем 128*8*800 = 819200 килобит или 800 мегабит на чтение. Ну, это в теории, на практике еще нужно учесть накладные расходы на протоколы, а это прибавить от 20 до 60%.

Comments

[FloorZ]

я по этому и спрашиваю. Теоретические цифры одни. А вот практические? Почему указаны именно "20-60%"?
Сколько выделяют канала реально на каждые 1000iops по iscsi, с учетом задержек.

[Алексей Черемисин]

Тут не только задержки, а еще и накладные расходы.
По накладным расходам, посчитаем. Пакет ethernet по максимуму (не совсем!) равен 1500 байт, из них 18 байт на заголовок ethernet, 22 байта на заголовок TCP, и iSCSI заголовок 48. Итого чистых данных у нас 1412 байт это ~94% от пропускной способности. Но так как по ethernet еще бегает куча всего типа ARP и прочего, то принято говорить о 8-10% накладных расходов. Еще стоит учесть, что не всегда будут гоняться именно большие блоки, отнимите еще 10-20%, получите те самые 20% на круг.

Всё ли так плохо?! Да нет, первое, что нужно учесть - увеличить размер кадра ethernet до например 9000 (так называемые jumbo frames), включаем опцию на коммутаторах и сетевых адаптерах, получаем 8912 байт чистого трафика 99% пропускной способности! :-)

Теперь о задержках (так называемая latency): оно примерно 50-125 us (для 1ge), но может снижаться из-за загрузки коммутаторов/адаптеров/CPU. В принципе нормально. Как повысить отзывчивость? Переходить на 10ge (5-50 us) или infiniband (3-5 us).

Дополнительно, если работаем на 1ge, сделать bonding из двух/четырех портов в один.

Ну и не скупитесь на нормальные коммутаторы (например dlink DGS 3420 замечательно работают и не очень больно, как киски/хуйли-ты-паккард). Где можно ходите оптикой, она нынче как грязь, сразу одномод кладите (с заделом на 10ge).

PS. С другой стороны, если будете полностью переходить на 10ge, то рекомендую посмотреть на infiniband - по стоимости практически тоже самое, а в скорости в 4 раза больше (но есть и нюансы конечно...).

[FloorZ]

Алексей Черемисин: спасибо за пояснение.
dgs-1500-20, если от него к SANу кинуть 4 канал по 1ge в агрегации, это нормально для такой железки?

[Алексей Черемисин]

FloorZ: нормальный, если от коммутатора кроме как коммутировать и vlan ничего не нужно, но их сняли с производства, теперь DGS-1510-xx

Answer 2

[kir117]

Угу, и надо учесть, что в пробросе SAN-овского трафика средствами Ethernet (мы ведь Ethernet рассматриваем?) достаточно сильно начанают играть задержки как самого Ethernet, так и сетевого оборудования. Так что ориентируйтесь на 10Gb/s, т.к. на 1Gb/s реальная производительность системы будет не очень высокой.

Comments

[FloorZ]

Я про эзернет и спрашиваю. Ибо теоретические цифры одни, а практические - совершенно другие и точных нету.

[kir117]

Скажем так, мой опыт показывает, что iSCSI на 1Gb годится только для ненагруженной файлопомойки (в пределах сотни пользователей). Для 300 пользователей оно работало, но достаточно небыстро. Для баз данных - ситуация ещё хуже, ибо они очень плохо реагируют на повышенную латентность. Если у вас несколько сотен пользователей - то тут либо 10Gb Ethernet, либо Fibe Channel, либо Infiniband. А так Алексей в комментарии выше все достаточно правильно расписал, только для коннектов внутри стойки или между рядом стоящими стойками оптика таки не нужна :).