Какой параметр дисков важнее в RAID: максимальная скорость чтения или минимальное среднее время доступа?

Question

[YgrecK]

Стоит задача из обычного старенького ПК (i7-6700K / Asus H170M-PLUS / DDR4 4*8GB) создать простенький сервер виртуализации. Собственно, ПК имеем, на нем MS Server 2019 Standard со всеми обновлениями в качестве хоста, плюс, VMWare Pro последней версии. В качестве RAID - используются встроенные в чипсет материнской платы возможности. Сделал RAID0 (не говорите что так нельзя, прекрасно знаю, но в данном случае могу себе позволить, так как резервируется ежесуточно) из двух стареньких SATA SSD на 32ГБ. На нем исключительно хостовая ОС и ПО. Второй, RAID10 - 4 х HDD 1ТБ. На нем исключительно сами виртуальные машины.
По тестам, если верить Аиде, из под живой хост системы (да и из WinPE примерно такие же значения):



При этом, очень сильно тормозит именно RAID10. Виртуальные машины - второй контроллер домена, принт-сервер, файловый сервер с доступом только для чтения (используется крайне редко, некоторыми нашими спецами), Консультант Плюс, по сути, та же шара (используется тоже, редко, но обновляет свои базы раз в сутки, ночью).

Имея приличный парк дисков всех мастей, хотел задать вопрос у знатоков: на что смотреть приоритетно? Выбирать диски с максимальным скорости чтения или минимальном среднем времени доступа?
Вот, например:
WDC WD10EZEX-00ZF5A0 - максимальная скорость чтения - 230 МБ/с, минимальное среднее время доступа - 15.0 мс
или
ST1000NM0033-9ZM173 - максимальная скорость чтения - 170 МБ/с, минимальное среднее время доступа 11.72 мс

Что посоветуете?

UPD1: Перестаньте, пожалуйста, советовать менять железо, купить сервер, ставить линукс и тому подобные, не по теме советы. Я вам всем очень благодарен за ваше мнение, попрошу никого не оскорбляться, но оно не имеет отношение к вопросу поста. Поверьте, есть весомые основания, почему такой конфиг используется (аппаратная платформа и программное решение). Для важных серьезных задач есть отказоустойчивый кластер и нормальные полки.

UPD2: По совету Роман Безруков переформатировал логический диск с размером блока в 64К. И, вы знаете, хоть RStarun выразил мнение, что скорее не поможет, пока что, заметно бодрее всё работает. Спасибо! Размер страйпа, к стати, тоже 64К оказался. Осталось поиграться с дисками: скорость чтения против времени доступа.

UPD3: Спасибо RStarun за наводку в сторону балансировки IOPS. Не совсем уверен, умеет ли виндовая VMWare в это дело, но, покопаю в эту сторону.

Comments

[Роман Безруков]

в вашем случае - максимальная скорость чтения...
логический диск на RAID10 с каким размером блока отформатирован?

WDC WD10EZEX-00ZF5A0 - максимальная скорость чтения - 230 МБ/с

производитель говорит 150МБ/с

[YgrecK]

Роман Безруков, создавал том штатными средствами винды, по умолчанию, тоесть, 4096 байт.

[aleks-th]

В вашем случае вы не увидите разницы.
Рейды встренные в мать работают хреновасто и разваливаются хороня все данные с собой.
Лучще уж программный соберите, работать будет лучше скорее всего, ну и вероятность развала с потерей данных сильно ниже..

[Роман Безруков]

YgrecK,

по умолчанию, тоесть

это плохо...
для таких сценариев, как у вас, тома под виртуализацию (а также почтовые базы, SQL-данные, диски файловых серверов и т.д.) лучше форматировать с размером блока 64К (и в некоторых случаях - еще и с выравниванием по границе блока) - это помогает снизить количество операций чтения для одного и того же количества данных.
Про встроенные RAID и их недостатки уже написали, тем более, что ваша MB (и ее компоненты) изначально не рассчитана на работу в режиме 24/7 (хотя может, и какой-то запас прочности имеется).
Поэтому в вашем случае лучше пересобрать RAID10 на отдельном RAID-контроллере и отформатировать логический том с указанными выше параметрами...

З.Ы. для замеров скорости лучше использовать diskspd, только внимательно читайте документацию...

[YgrecK]

Роман Безруков, Смотрел вот тут. Прошивка соответствует
https://smarthdd.com/rus/database/WDC-WD10EZEX-00Z...

[YgrecK]

Роман Безруков,

лучше форматировать с размером блока 64К

Попробую, спасибо за рекомендацию. Там, какраз, 90%+ операций, чтение.

Про встроенные RAID и их недостатки уже написали, тем более, что ваша MB (и ее компоненты) изначально не рассчитана на работу в режиме 24/7 (хотя может, и какой-то запас прочности имеется).

Вот по этому поводу вообще не переживаю. Может сдохнуть прям сейчас, просто возьму с полки другой такой-же системник и разверну ежедневный бэкап. Делов на полчаса с перекурами)

[RStarun]

По дискам всегда есть баланс между параметрами. Емкость, скорость (важна и пропускная способность в целом и время отклика), стоимость. В вашем случае, скорее всего, виртуалкам не хватает времени отклика. Кстати, в стандартном мониторе производительности видно время отклика и какие файлы в данный момент загружают диски больше всего. IOPS - наше все.
Тест на aida ничего не говорит вообще, можно на него не обращать внимания. Смотрите diskspeed, например. Блоками по 4к.
По форматированию не уверен что имеет смысл 64к. 64к используют там где нужно большие тома иметь (16 тб) или если мы архивные данные храним с линейным чтением записью. А виртуалки как раз нормально живут в 4к блоках.
Если данные вам не важны (а есть подозрение что не важны), можно попробовать включить кеширование на всех уровнях. В рейде это будет write back и disk cache. В общем случае это отвратительный совет и применим только на тестовой среде.
В гипервизорах часто можно ограничить iops для каждой конкретной виртуалки. Быть может одна из них выедает все ресурсы не оставляя другим. Скажем 300-500 для DC, 1500 для файловой помойки.

Ваши 4 диска в R10 могут давать примерно 200 IOPS. Исходя из того что 1 диск выдает примерно 100 iops при 70R/30W и приемлемой задержке, имеем две группы, получаем 200. Если включить все кеши, будет примерно 300. То есть все равно маловато для перечисленных ВМ. Все это цифры от потолка, смотрите сколько у вас в реальности получается и где тормозит.

Answer 1

[VoidVolker]

Пальцем в потолок:

В качестве RAID - используются встроенные в чипсет материнской платы возможности.

Для тех, кто в танке: у ТС бытовая материнская плата, в которой очень простенький RAID контроллёр с ограниченным функционалом, а он пытается использовать это всё для сервера - естественно железо не соответствует серверным требованиям. В серверах для RAID используются специализированные отдельные контроллёры. В данном случае лучшим решением будет поставить линукс и использовать программный RAID, как и советует товарищ Drno в коментариях.

Comments

[YgrecK]

Остроумно, конечно, но, что имеете ввиду?

[Drno]

YgrecK, ненадо исопльзовать чипсет Мат платы для рейда. тем более чипсет H ))
возможно он банально перегревается
кстати он запросто может перегерваться и без рейда(ну тоесть на софтовом) если будет гоняться трафф по нескольких SATA интерфейсам сразу

делать надо было софтовый рейд

а вообще я бы снес нафиг винду и поставил линукс + qemu-KVM для виртуализации на софтовый рейд mdadm.
ну или Проксмокс

[SunTechnik]

Производительность, которую даёт диск, сильно зависит от характера нагрузки.
При случайно доступе они все будут тормозить. А при работе малым блоком скорость будет никакая..
Поэтому это заранее выбор лучшего из худших.
В raid - лучше что бы все диски имели близкие характеристики, так как скорость будет определяться худшим.

Ну и предыдущий комментатор имел ввиду, что raid от чипсета материнской платы лучше не использовать. Плюсов по скорости он не даст, а гемора при развале raid или выхода из строя материнки может добавить. Лучше тогда использовать софт верный рэйд..

[YgrecK]

Drno, Вопрос топика в другом, но, спасибо что поделились опытом.

Так-то, если ответить вашим замечаниям. Чипсет не греется (около 25-26гр.Ц. - это, считай холодный, при температуре в помещении ~19гр.Ц.). Первый RAID, из двух SATA SSD, летает, скажем так. Тормоза испытываются только на втором массиве, элементарно, при попытке что-то сделать с любой из виртуалок (снэпшот, например, или, там, очистку виртуальных дисков), длина очереди диска уходит в потолок. На первом массиве, такое не наблюдается.

[YgrecK]

SunTechnik, Спасибо за конструктивные замечания. Выбор, очевидно стоит, как вы справедливо заметили, наилучшего из худшего. Вот и хочу понять чему дать предпочтение - дискам с большей скорости чтения или, всё-таки, дискам с наименьшем среднем времени доступа. Склоняюсь, скорее ко второму варианту, но хочу услышать мнение знающих людей. Про предыдущего комментатора, я прекрасно понял, что он имел ввиду, но, вот такова в данный момент у меня реальность. Это, считай как данное, в моменте. И выбор пал на это решение неспроста.

[VoidVolker]

Остроумно, конечно, но, что имеете ввиду?

RAID контроллёр, встроенный в материнскую плату - не более чем фича категории "для галочки", тем более в материнской плате для бытового использования. А вы же пытаетесь использовать в сервере. Естественно характеристики этого контроллёра очень далеки от серверных. Плюс, в случае выхода из строя материнской платы или ещё каких-то проблем с RIAD - есть большие шансы потерять вообще весь массив, т.к. на другом контроллёре этот массив может не заработать. Китайцы - те ещё затейники и никогда не знаешь, какие у них там бывают фантазии. Поэтому в серверах для RAID массивов и используются отдельные контроллёры.

Вот и хочу понять чему дать предпочтение - дискам с большей скорости чтения или, всё-таки, дискам с наименьшем среднем времени доступа.

Скорее всего разницы вы особо не заметите. И раз у вас есть диски - так возьмите и соберите пару массивов и проверьте их характеристики.

такова в данный момент у меня реальность. Это, считай как данное, в моменте. И выбор пал на это решение неспроста.

В таком случае рекомендую последовать совету Drno и поставить линукс с софт-массивом и забыть про встроенный в мать RAID контроллёр.

[YgrecK]

VoidVolker,

Скорее всего разницы вы особо не заметите.

Спасибо за мнение.

[YgrecK]

VoidVolker, Хорошо, если абстрагироваться от этого железа, допустим, и поставить какой-нибудь LSI, например, возвращаясь к изначальному вопросу, каким дискам дать предпочтение?

Просто, смотрю, большинство кинулись советовать переделывать всю конструкцию, игнорируя, в принципе, инициальный вопрос, который никак не звучит что-то типа "Что выбрать линукс или винду, VMWare или KVM"))

[VoidVolker]

YgrecK, ну, вы пытаетесь использовать железо не по назначению и для достижения ваших целей вам проще всего отказаться от встроенного RAID контроллёра и сменить софт на более подходящий - это будет эффективнее всего. Если делать что-то большее - то только полностью менять всё железо на серверное.

поставить какой-нибудь LSI, например, возвращаясь к изначальному вопросу, каким дискам дать предпочтение?

Серверным и более надёжным - при наличии, конечно. В целом же - без разницы, у них характеристики примерно одинаковые. Если вам надо по конкретным характеристика подобрать диски - как я уже сказал: берёте диски, собираете массивы, проводите замеры, выбираете наиболее подходящие вам. Других вариантов нет и никто не скажет без конкретных тестов конкретного железа в конкретных условиях.

Answer 2

[Dieman666]

я бы не маялся с этими рейдами и хардами маячнёй, а поставил бы под гипервизор и машины ссд нвме, с бэкапом виртуальных машин на харды.
а вот потом уже типа файлового сервера, там отдельно выделить рейд хардам например.

Answer 3

[Пума Тайланд]

Воткните ссд
Для системы не понятно зачем рейд0 выигрыша на таких говнодисках нет, там надо рейд1

Comments

[RStarun]

вероятно 32гб - маловато для ОС, гипервизора и какого-то еще ПО. Поэтому R0.

[YgrecK]

RStarun, Именно. У меня пол мешка этих дисков. В сингл, чтение ~200МБ/с. В R0 - картинка с замером в топике. А вот под ОС и гипервизор, 32ГБ мало, а 50, в самый раз. И не надо переживать о потере данных, делается ежедневный бэкап, развернуть 20ГБ образа - считанные минуты. Простой этой системы, не критичен.

Answer 4

[Ava256]

Raid10 без кэша на медленных дисках будет тормозить в любом случае, не зависимо от размера блока.