Почему такая скорость копирования?

Question

[vitalyrline]

Здравствуйте! Имеется сервер Gooxi sl201-d12re-g3. В него установлены 2 ssd диска, на которых поднят массив RAID1. На этот массив установлен Proxmox 8.3.0. Так же в сервер установлены 12 дисков Seagate Exos 7E10 8Тб 7200об/мин и объединены в zfs пул raidz2. На это пул ставим ВМ Windows 2019. Внутрь ВМ установлена Virtio win giuest tool. В винде 2 виртуальных диска один системный, второй под хранение данных. Для тестов сделал второй диск, небольшой всего 10ГБ.
Настройки второго диска в Proxmox такие.



В "железе" ВМ используется Virtio SCSI single. Сеть Linux bond 2х10Гб/с.
Crystal Disk показывает такие результаты:


При копировании большого файла ISO размером 6Гб на созданную ВМ скорость копирования, на мой взгляд, маленькая.

Копирование происходит с NAS, в котором 5 HDD в массиве RAID5 и сеть 2Гб/с.

Интуиция мне подсказывает, что скорость копирования для такой системы может быть больше. Собственно вопрос где тут узкое место? Проблема в железе или в настройке Proxmox и ВМ?

Comments

[Zerg89]

А что с очередью диска при копировании,
Если очередь растёт на приемнике то проблема в нем если нет проблема с источником

Answer 1

[MVV]

Обращает на себя внимание тот факт, что скорость копирования совпадает с со скоростью записи с произвольным доступом. То есть, похоже что линейная запись на виртуальный диск оказывается, с точки зрения ваших HDD записью с произвольным доступом.

Смотреть надо там. Но я не знаком детально с ZFS, поэтому не могу подсказать, что и как вам надо посмотреть.

Answer 2

[Антон Клименко]

Проверь recordsize датастора на hdd, скорее всего там 4кб, попробуй увеличить до 32,64 и 128кб и протестирую, если что изменение настроек датастора не меняет recordsize для существующего диска. Можно сделать несколько датасторов на одном пуле с разными настройками и протестировать какие дают лучший результат.

Answer 3

[vitalyrline]

В общем попробовал различные настройки дисковой системы. Всё описывать не буду, т.к. ничего не помогло. Если кому интересно, то RAID10 выдаёт такие результаты:

Внутри ВМ между разделами файлы летают со скоростью 2ГБ/с.

Стал копать в сторону сети. Сначала игрался с настройками интерфейсов в Proxmox. Пробовал различные режимы bond, одиночное подключение без bond и т.д. Точно так же никакие изменения настроек не повлияли на скорость копирования. Решил проверить скорость с помощью iperf и вот что увидел.


Почему так? А потому что у нас несколько подсетей и каждая в своём vlan. Маршрутизатором между ними выступает pfsense, он же является интернет шлюзом. Там старый системник с несколькими сетевухами. Они конечно гигабитные, но видимо общей мощности не хватает. Хотя в то же время я не увидел 100% нагрузки на процессор или память. Так же запустил проверку iperf между NAS и своим рабочим компьютером, они находятся в одной подсети и тут такой результат.


В общем сейчас я на 95% уверен, что проблема именно в pfsense. Что с ним делать буду решать. Думаю на этом вопрос можно закрывать. Спасибо всем за участие!

p.s. Если накидаете ещё полезных советов, касательно данного вопроса, буду благодарен.

Answer 4

[Юрий MikroTik]

Как вариант сменить тип диска на vm с sata на scsi (предварительно установив драйвера из virtio)

Answer 5

[Пума Тайланд]

Если вам нужна прямо скорость первое от чего стоит избавится это зфс , медленно и не эффективно

Comments

[vitalyrline]

Что порекомендуете вместо zfs?

[Пума Тайланд]

vitalyrline, лвм там нет же других альтернатив все равно так что и советовать то нечего