Задать вопрос
@vitalyrline

Почему такая скорость копирования?

Здравствуйте! Имеется сервер Gooxi sl201-d12re-g3. В него установлены 2 ssd диска, на которых поднят массив RAID1. На этот массив установлен Proxmox 8.3.0. Так же в сервер установлены 12 дисков Seagate Exos 7E10 8Тб 7200об/мин и объединены в zfs пул raidz2. На это пул ставим ВМ Windows 2019. Внутрь ВМ установлена Virtio win giuest tool. В винде 2 виртуальных диска один системный, второй под хранение данных. Для тестов сделал второй диск, небольшой всего 10ГБ.
Настройки второго диска в Proxmox такие.

67cc23121076f578044819.png

В "железе" ВМ используется Virtio SCSI single. Сеть Linux bond 2х10Гб/с.
Crystal Disk показывает такие результаты:
67cc2821744de791270739.png

При копировании большого файла ISO размером 6Гб на созданную ВМ скорость копирования, на мой взгляд, маленькая.
67cc24c63fb80557928129.png
Копирование происходит с NAS, в котором 5 HDD в массиве RAID5 и сеть 2Гб/с.

Интуиция мне подсказывает, что скорость копирования для такой системы может быть больше. Собственно вопрос где тут узкое место? Проблема в железе или в настройке Proxmox и ВМ?
  • Вопрос задан
  • 1775 просмотров
Подписаться 2 Средний 1 комментарий
Пригласить эксперта
Ответы на вопрос 5
@mvv-rus
Настоящий админ AD и ненастоящий программист
Обращает на себя внимание тот факт, что скорость копирования совпадает с со скоростью записи с произвольным доступом. То есть, похоже что линейная запись на виртуальный диск оказывается, с точки зрения ваших HDD записью с произвольным доступом.

Смотреть надо там. Но я не знаком детально с ZFS, поэтому не могу подсказать, что и как вам надо посмотреть.
Ответ написан
Комментировать
@IsNoGood
Инженер по поддержке Unix систем
Проверь recordsize датастора на hdd, скорее всего там 4кб, попробуй увеличить до 32,64 и 128кб и протестирую, если что изменение настроек датастора не меняет recordsize для существующего диска. Можно сделать несколько датасторов на одном пуле с разными настройками и протестировать какие дают лучший результат.
Ответ написан
Комментировать
@vitalyrline Автор вопроса
В общем попробовал различные настройки дисковой системы. Всё описывать не буду, т.к. ничего не помогло. Если кому интересно, то RAID10 выдаёт такие результаты:
67cf24abd84ca205261891.png
Внутри ВМ между разделами файлы летают со скоростью 2ГБ/с.

Стал копать в сторону сети. Сначала игрался с настройками интерфейсов в Proxmox. Пробовал различные режимы bond, одиночное подключение без bond и т.д. Точно так же никакие изменения настроек не повлияли на скорость копирования. Решил проверить скорость с помощью iperf и вот что увидел.
67cf280152788155605499.png

Почему так? А потому что у нас несколько подсетей и каждая в своём vlan. Маршрутизатором между ними выступает pfsense, он же является интернет шлюзом. Там старый системник с несколькими сетевухами. Они конечно гигабитные, но видимо общей мощности не хватает. Хотя в то же время я не увидел 100% нагрузки на процессор или память. Так же запустил проверку iperf между NAS и своим рабочим компьютером, они находятся в одной подсети и тут такой результат.
67cf27039c57a099630966.png

В общем сейчас я на 95% уверен, что проблема именно в pfsense. Что с ним делать буду решать. Думаю на этом вопрос можно закрывать. Спасибо всем за участие!

p.s. Если накидаете ещё полезных советов, касательно данного вопроса, буду благодарен.
Ответ написан
Комментировать
b1ora
@b1ora
Контакты в профиле
Как вариант сменить тип диска на vm с sata на scsi (предварительно установив драйвера из virtio)
Ответ написан
Комментировать
opium
@opium
Просто люблю качественно работать
Если вам нужна прямо скорость первое от чего стоит избавится это зфс , медленно и не эффективно
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы