Почему тупит запись на диск в kvm?

Question

[Пума Тайланд]

KVM гость на ubuntu 14.04 стоит на последнем проксмоксе с опциями virtio кеш пробовал none и writeback
наблюдается затупи диска на реплике постгреса

в iotop такая ситуация
Total DISK READ : 634.92 K/s | Total DISK WRITE : 2.96 M/s
Actual DISK READ: 634.92 K/s | Actual DISK WRITE: 1670.63 K/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
1095 be/4 postgres 0.00 B/s 1670.63 K/s 0.00 % 89.72 % postgres: wal receiver process streaming 20D5/2EB71140
Загрузка диска 89.72 %
Записи максимум 3 мегабайта в секунду
диски ссд
есть точно такая же реплика на таком же сервере без квма где дисковая загрузка около нуля.
тонкое выделение места ни при чем, для теста забил диск нулями под завязку.
С чем бы могло быть связано такое странное поведение?

Answer 1

[cap_nemo]

В самом госте надо поставить драйвера virtio.
А на гипервизоре смотреть настройки HDD в BIOS, или настраивать RAID-контроллер (если есть), кэширование записи. Как вариант - подобрать файловую систему, адаптированную под SSD на гипервизоре, только это хлопотно. Возможно, нужно увеличить память RAM на госте и гипервизоре. Поотключать все ненужные сервисы в госте, в том числе и графический интерфейс. На госте увеличить размер SWAP.

Comments

[Пума Тайланд]

на госте стоит убунту 14 , там вроде в ядре уже есть дрова для виртио
на хосте обычный софт рейд 1 и проблем с дисками точно нет, то есть на самом хосте иотоп показывает нулевую загрузку.
Да везде ext4 и на хосте такого затупа не видно.
Да и смысл подбирать когда запись три мегабайта в секунду максимум , для ссд это просто смех, да даже на хдд должно летать.
памяти 128 гигов, нет смысла увеличивать.
сервисов то и нет особо кроме постгреса, ну ссх там , фаервол, не более того, а графического тем более.
свап не используется в принципе ни на госте ни на хосте, так как памяти более чем достаточно.

[cap_nemo]

А на госте сколько памяти? Достаточно? Может имеет смысл посмотреть настройки кэширования записи в проксмоксе?

[Пума Тайланд]

cap_nemo: да там одна виртуалка и почти вся память отдана одному гостю
я уже поигрался с ними, никакого эффекта, везде пишут лучше всего ставить none по дефолту оно и стояло

[cap_nemo]

Может тогда наоборот часть отдать гипервизору? Может ему памяти не хватает на организацию кэша?
Либо заниматься исследованиями - регулировать различные параметры на госте и смотреть, что получиться. Как вариант запустить бенчамрк в постгрессе, может он что-то покажет, где узкие места.

[Пума Тайланд]

cap_nemo: памяти хватает всем
На хосте иовайт нулевой, а на госте под сто процентов ядро грузит иовайт
Да параметров то особо и нет

Answer 2

[Дмитрий]

А на какой девайс зацеплены диски?
Если на virtio-blk, то можно попробовать закинуть на virtio-scsi. Может trim у ссдшника не срабатывает и засирает скорость? virtio-scsi поддерживает его, в отличие от virtio-blk.

Отдельный поток выделен ли для io, и какой тип используется: threads или native? Ещё можно поиграться с количеством хардварных io-очередей.

Ну, а на крайняк попробуй vhost-scsi. С ним, по тестам, вроде, какие-то космические иопсы можно раскрутить.

Comments

[Пума Тайланд]

Диски просто виртио блк
Ну объем данных пишется такой маленький что и без трима должно быть ну просто отлично
Ну там нагрузки кроме реплики нет