Почему при миграции машин через vcenter 7 на long distance ограничение в 150Мбит\сек?

Question

[Voland89]

Приветствую. Задача - миграция машин в кластере из 4х серверов esxi 7 разделенном каналом 1Гбит\сек. 2 esxi в одном ЦОДе, 2 в другом. Также с хранилищами данных. Перемещение машин идет через vmotion. Между хранилищами и esxi линии 10 и 40 Гбит\сек. Между ЦОДами канал L2 1гбит провайдера. На esxi созданы по 3 vmkernel адаптера с vmotion сервисом, однако скорость vmotion не превышает в пике 200Мбит\сек. При этом читал про cost для скоростей до 1Гбит - там ограничение только на кол-во одновременных переносов машин (2шт минимум), так оно и есть. По потоку скорость должна быть по докам - до 15Гбит\сек. Однако при подключении канала в 1Гбит скорость перемещения машин по vmotion внутри канала упала до 150-200Мбит\сек макс. скорости, IOPS и загруженность хранилищ проверял-минимальная. Просьба помочь или ткнуть в документацию об ограничениях скорости, т.к. я ни одного дока не нашел.

Answer 1

[Zerg89]

Ну давай посчитаем вместе:
1 gb канал
Читаем мы с сетевого хранилища то есть скорость делится пополам или 1/2 так как читать и отправлять надо
Отправляем мы 2 виртулки то есть делим ещё пополам 1/2
Итого 250мбит/с
За вычетом трафика к другим виртуалкам и прочих накладных расходов передачи, получаем что получаем

Comments

[Diman89]

Канал дуплексный же, зачем делить пополам для приема и отправки?

Answer 2

[ValdikSS]

Вероятно, вам необходимо увеличить буферы TCP, чтобы было более широкое окно (window size)

https://en.wikipedia.org/wiki/Bandwidth-delay_product
https://fasterdata.es.net/host-tuning/linux/