Как ускорить работу виртуалки на Proxmox?

Question

[Сергей]

Привет!
Есть кластер серверов на Proxmox. На них виртуалки, по большей части на Linux, но есть и на Windows (2013, 2019)
Столкнулся с проблемой что скорость обращения к дискам на windows виртуалках - никакая. Не более 40MB/s на запись и 80MB/s на чтение
Пробовал ставить VirtIO драйверы: - стало еще хуже. Скорость записи упала до 8MB/s
Подскажите, какие у вас параметры виртуалок и какие действия делали чтоб скорость дисков нормальной была? А то это, ну ни в какие ворота

Штатная скорость дисков на хосте, после установки была в районе 500 MB/s

Коллеги! Если у вас нет Windows виртуалок - не тратьте мое и свое время.
Мне нужны просто параметры виртуалок и какие драйверы ставили.

Comments

[Владимир]

Добро пожаловать в новый дивный мир где нет гадалок и экстрансенсов, поэтому чтобы вам могли помочь вам придется дать больше информации:
1 какие диски стоят на серверах пркосмокс ? как они собраны в рейд ?
2 какая утилизация этих дисков ? (если кроме вебморды прокмокса у вас нет другова мониторинга: например заббикса то теперь будет очень сложно понять что произошло)
3 одна и таже скорость может давать разную нагрузку на диски, укажите как вы проверяли эту скорость ? какой был профиль нагрузки.

[Сергей]

Владимир, Диски SAS собраны в кластер CEPH.
Но не суть, я проверял на других хостах, там диски виртуалок лежат на обычном LVM - там скорость такая же
2. Ничего не произошло. Как я понял, скорость изначально была такая. Просто раньше не придавали значения, потому что не до нее было. А теперь, когда нагрузка стала расти - обратили внимание.
3. Проверял этим. Запускал на виртуалке непосредственно

Я практически уверен что дело не в хостах и не в том как там диски собраны. И даже не в самих дисках
Скорее всего дело в настройках виртуалок, какие параметры железа на них. А так же какие драйверы установлены
Вот и спросил, какие они у вас, что устанавливали?

[awsswa159]

Да сколько можно уже говорить то - CEPH это хранилка.
Там в принципе не может быть быстрой записи и чтения, она не для этого сделана.
Она для отказаустойчивости.

[Сергей]

awsswa159, Эксперимента ради, перенес диск виртуалки на LVM на хосте и ничего не поменялось. Как было 40MB/s, так и осталось
В то же время hdparm запущенный на самом хосте говорит что скорость на этом LVM 305 MB/s
Получается не в CEPH дело

[Владимир]

1 используя CEPH вы сами отказались от скорости тк как он про надеждность и масштабируемость.
2 если у вас LVM тонкий(thin) то тоже там большие проблемы со скоростью изза особеностей хранения метаданных
3 вы так и не ответили про утилизацию(нагрузку на диски) запустите iostat -x3 на гипервизоре и понаблюдайте пару минут
4 может у CEPH сейчас идет скраббинг и ему не до вас и вашей нагрузки ?
5 какая сеть используется для CEPH ? 1G? или 10G?

З.Ы, с виндовс виртуалками не работал только с линукс, для линукс наилучшую скорость из того что у вас есть вы бы получили из рейд 10 на 4 или 8 дисков, с фс ext4 или xfs, вмки хранить в qcow, драйвер виртИО

[Сергей]

Владимир, С линукс виртуалками проблем нет. Только что проверил скорость - 221MB/s на чтение
В 5 раз быстрее чем на виндовс.
Потому не вижу смысла делать что вы просите. Не в хосте дело.
Сеть 10 гигабит
Если у вас нет Windows виртуалок - то врядли вы поможете

[Владимир]

Сергей,
1 вы жаловались на скорость записи, и как аргумент указываете скорость чтения - это не рационально.
2 "нельзя просто так взять" (с) и померять скорость/производительность рейда цефа или чегото такого, почитайте например https://habr.com/ru/post/154235/
З.Ы. Дома на десктоп железе стоит проксмокс веряии 7.0-9 с ядром 5.4.65-1 там 5ый рейд(mdadm) с LVM thin из шести сата дисков WD1003FZEX, виртуалка с вин10, 2 ядра, 4гб памяти, хдд50гб виртио без кеша показала 160мб линейного чтения и 25мб линейной записи той же утилитой что вы скидывали,
З.З.Ы на будущее - обычно собрав какой угодно кластер перед эксплуатацией делается нагрузочное тестирование для проверки его возможностей и выявления проблем.

[Сергей]

Владимир, Тестирование делали. Но уже не помню как. И помню что цифры были приятные около 200MB/s на дисках и итп...
Но по прошествии времени не уверен что мы именно в Windows вируталках тестировали.

Ок. Я планирую развернуть чистую виртуалку 2019 сервер и буду подбирать разные параметры железа. Надеюсь найду оптимальный вариант.
Иначе придется все переделывать. Так как с текущими скоростями жить не получится

[Виктор]

cache: write back (unsafe)
discard: yes
?

[Денис _______________]

Сергей,
https://m.youtube.com/watch?v=wjlmWHJiEug
Хотя видео есть иллюстрация проброса ВК в ВМ на хосте под управлением ProxMox, я вставил 2 теста на чтение-запись. Таймкоды в описании к видео.

Тест 1 - тест жесткого диска С:\ в ВМ под упправлением на госте Windows 10. При этом в этом случае Windows установлена на виртуальный жесткий диск SATA, а проще говоря в файл, который базируется на 2.5" SATA SSD Kingston 480GB, вместе с хостом.

Тест 2 - тестирование проброшенного физического жесткого диска SATA HDD WD Red 4TB в ВМ.

никаких Ceph и рейд-массивов. Оба диска подключены к игровой материнке в SATA разъемы. В файле-конфиге ВМ прописаны как SATA-устройства. Драйвера в госте установлены virt-io. Нашел случайно где-то диск с набором дров с сайта то ли Арча, то ли Красной шляпы и вот пользуюсь.

[hint000]

Денис _______________,

Драйвера в госте установлены virt-io. Нашел случайно где-то диск с набором дров с сайта то ли Арча, то ли Красной шляпы и вот пользуюсь.

Да, Красношляпа сама и разработала VirtIO. Не знаю, в одиночку или с чьим-то ещё участием, но это их проект.

[hint000]

Сергей,

Пробовал ставить VirtIO драйверы: - стало еще хуже.

А они точно использовались? В диспетчере устройств должно быть примерно так:


И да, то что написал Виктор, write back очень заметно ускоряет, это точно; discard должен trim'ить SSD (тоже применяю, но лично не исследовал, насколько велико влияние discard).

[Виктор]

+ если raid аппаратный обратить внимание на его настройки:
read policy
write policy
IO policy
Disk cache policy

[6ec123321]

Для windows ВМ использовал:
Интерфейс VirtIO и qemu-образы (qcow2) сжатые, драйвера (stable) брал по официальной ссылке https://fedorapeople.org/groups/virt/virtio-win/di...

Тип кэша: write back.
https://forum.proxmox.com/threads/cache-type-write...

Пользовался windows server 2012R2, т.к. 2016 и 2019 слегка притормаживали.

В проксмоксе снизил % использование раздела подкачки (swap) . Почитать лучше здесь: https://www.reddit.com/r/Proxmox/comments/ko25be/u...

[6ec123321]

awsswa159, точно, это больше хранилка под бэкапы, не для ВМ. Если нужно прям быстро быстро), то только локальное хранилище.

Answer 1

[6ec123321]

Пол года назад собирал кластер Proxmox из трёх серверов на старом железе intel.
Железного рейдмассива нет, софтово-аппаратный не поддерживается. Установил Debian 10, собрал софтовый Raid-1 массив, LVM не стал делать, т.к. 2 диска по 500 ГБ планировал заменить на диски 1 ТБ. LVM - не нужен, т.к. такие вещи решил делать в виртуалках, а хост-систему не ковырять лишний раз, да и для увеличения производительности и отсутствия всякого геморроя. Плюс софтовый Raid-1 на mdraid можно переставить на любое оборудование, т.к. фиг его знает сколько эти старые сервера проживут.
Вообще проксмокс расчитан на использование удаленного файлового хранилища для гибкой миграции ВМ и контейнеров. У меня такое счастье в бюджет не входило.

Далее протестировал работу клиентских ОС:
1. WinXPSP3 - нет дров, не поддерживается, забыли (x32)
2. Win7SP1Pro (0EndOfSupport) - отлично работает, дрова можно и в дистрибутив через susprep засунуть (X64)
3. Windows 10 Enterprise 1803 - идеально (x64)
Вывод: Виртуальный десктоп организовать можно, но пока не нужно)

Естественно в первую очередь тестировались серверные ОС:
1. Openwrt - на 128 МБ оперативки - это чудо, и tor-прокси и маршрутизация - идеально для обхода всякой роскомнадзоровской защиты и организации VPN до квартиры системного администратора. Использовать обязательно, мало гемора, много плюшек.
2. Windows Server 2008 R2 - работает как и Win7, но уже устарел морально как в качестве Контроллера домена, так и в качестве вообще рядового сервера.
3. Windows Server 2012 R2 - идельно по функционалу, производительности и плюшкам
4. Windows Server 2016 - пробовал использовать его под WSUS пару месяцев, очень много жрёт ресурсов, пока сырой, нужны еще обновления для стабильной работы, а их пока нет, как у 2012R2. От WSUS пришлось отказаться и удалить ВМ.
5. Windows Server 2019 - очень сырая и требовательная ОС, а моя цель минимум потребления дискового пространства и ОЗУ, максимум производительности и пользы.
6. Debian 9 - отлично, берём на вооружение.
7. Debian 8 - отлично, берём на вооружение.
8. CentOS 7 - отлично, беру в работу под почтовый сервер.
9. Windows Server 2003R2 - каким то образом в нетрезвом виде мне всё таки удалось установить какие-то драйвера и оптимизировать работу системы, и даже выпустить образ в прод для запуска древних DOS-приложений)).
Вывод: с линуксами проблем нет, Windows2012R2 - идеальный вариант как файлового, так и всего остального.

После трёхмесячного полёта заметил, что проксмокс активно использует swap хост системы, хотя свободной физической ОЗУ больше половины, и, как оказалось, это тоже настраивается.

В общем, после работы с VMWare Vsphere (ESXI) и Hyper-V проксмокс мне показался вообще мечтой сисадмина, а недавно еще и proxmox-бэкапсервер появился.

Answer 2

[Пума Тайланд]

Софт рейд лвм виртио все летает на Винде десять и 2019

Comments

[6ec123321]

На счёт софтового рейд-массива согласен, если надо лучше, то дешевле один (лучше два) TrueNAS/FreeNAS сервер организовать, больше выхлопа будет в плане миграции и отказоустойчивости.

[Пума Тайланд]

6ec123321, Нет если брать тот же фринас то там зфс а у него перфоманс в заднице ну и в целом как быстро подключить такой нас к машине чтобы гигабайт в секунду выжимало? Да особо дешево никак

[6ec123321]

Пума Тайланд, согласен, дёшево тут точно ни как, единственный вариант локально ставить недорогие SSD 500 ГБ в (soft/hard)-raid-1 для гигабитной сети, в итоге получим производительность и по сети. Про Raid10 можно и не упоминать, тут и так всё понятно)