Взлетает latency SSD на массиве под ESXi, куда копать?

Question

[Владимир Кивва]

Суть проблемы: если дать нагрузку на дисковую подсистему - взлетает показатель latency и всё перестаёт работать.
На рисунке - нагрузочное тестирование 1С

Что делалось:
Заменены SSD-дисков на другую модель
Кэширование, буферизацию и прочие рейдовые фишки отключал
Обычный драйвер AHCI отключал
Диски заняты менее, чем наполовину. Но размечено всё пространство под VMFS6

Конфигурация:
ОС: ESXi 6.7
ЦП: i7-3770
Массив: LSI Megaraid 9260 на 4 слота (512 RAM)
2 слота энтерпрайс HDD в зеркале
2 слота SSD в зеркале (были intel, теперь какие-то micron 1100)
Сервер в Hetzner

Симптомы:
Кэш включён для всего и вся, но при выключении ситуация становится только хуже.
Показательным может быть линейное копирование файла 50ГБ между датасторами. После 5 минут копирования на скорости 150МБ скорость резко падает, а задержи резко возрастают. При этом вообще вся система перестаёт нормально откликаться.
То же самое происходит при, например, нагрузочном тесте 1С, если запустить 100 пользователей - резко всё виснет и взлетает latencу на SSD-массиве.
Копирование между datastores с HDD на SSD одного файла 50 GB

Вот показатели предыдущих Intel SSD с выключенным кэшем массива:

В ивентах сообщения:
Device naa.600605b0057d5c40ff0284b36d816610 performance has deteriorated. I/O latency increased from average value of 4580 microseconds to 210110 microseconds.

При этом, массив из HDD отрабатывает точно так, как должен (мелкий и большой файлы для отображения работы кэша рейда)
На соседнем сервере такой же RAID, ESXi версии 6.5 в 2 SSD datacenter edition, что влиять не должно, но там выше 10мс вообще не прыгает latency.

upd. Скрин esxtop при копировании между датасторами (HDD->SSD). Latency 20-50ms колеблется

Как быть, куда посмотреть?

Answer 1

[АртемЪ]

Ну это вполне нормальная ситуация.
Чего вы хотите от потребительского SSD в RAID?
Не удивлюсь если там еще и over provisioning не настроили.

Диски заняты менее, чем наполовину.

Шутите?
У вас RAID, а это значит, что TRIM не работает.
Вы файл удалили - а на диске он так и остался.
В итоге диск с неработающим TRIM всегда занят на 100%.
А вы говорите на половину.

Comments

[Владимир Кивва]

АртемЪ Про OP чуть читал, но решил не заморачиваться сразу, т.к. всё равно не планировал использовать на хранилище больше половины места, пока тестирую. В вопрос пометил, что размечено полностью всё место. Когда вы упомянули, наткнулся на отличную статью с тестами pyatilistnik.org/kak-uvelichit-proizvoditelnost-ss...
Отрежу на уровне рейда и ещё тесты погоняю, спасибо.

А про потребительские SSD не верю, т.к. принципиальной разницы не должно быть, насколько мне известно, кроме срока службы.

Подскажите ещё, может, взять SSD и прикрепить как кэш к обычным винтам? Массив LSI это предлагал, caсhecade у него называется, вроде. Основные задачи у всего сервера - хранение данных и терминал+SQL+1С. Сейчас SSD используется для файловых БД 1C и для SQL, которая тоже под 1С. Стоит ли пробовать caсhecade и запускать всё на HDD, или часть на cashcade (если массив позволит), вторую на OP и третью под самые критичные БД SQL? Либо без третьей части.
udp. Похоже, cachecade только с физическим лицензионным ключом может работать.

[Владимир Кивва]

АртемЪ каcательно TRIM. Установили новые винты, инициировал рейд, создал массив. Он ведь пустым должен был создаться? И сразу же сделал копирование из HDD на SSD, которое показало резкое падение.
Кстати, прошлым винтам ставил определяться как SSD в ESXi - это ничего не меняло.

[АртемЪ]

Владимир Кивва,

Отрежу на уровне рейда и ещё тесты погоняю, спасибо

Только вот прежде чем отрезать, надо его очистить. Про это не забывайте.

Если вы просто отрежете кусок диска и оставите его неразмеченым - там по прежнему будут записаны данные которые вы уже давно удалили, но диск об этом не знает, и следовательно не может удалить.
В итоге лучше вы не сделаете - только хуже.

Перед отрезанием обязательно очистите диск!!!

[АртемЪ]

А про потребительские SSD не верю, т.к. принципиальной разницы не должно быть, насколько мне известно, кроме срока службы.

А при чем тут срок службы?
Как раз срок службы от этого вообще не зависит.
Вот основные различия между потребительскими SSD и корпоративными (серверными) -
1)Производительный процессор.
2)Дофига оперативной памяти.
3)Большой резерв с завода.
Вот и все собственно, это основные отличия - есть еще по мелочи разные фокусы в прошивке, но это уже не так критично.

В общем обычному SSD нафиг не нужен производительный процессор.
Уборку мусора можно проводить в свободное время, чай не на сервере, все равно диск будет простаивать 95% времени.
А на сервере, да под нагрузкой - когда этот SSD будет запускать уборку мусора? Никогда!
А на приличном серверном стоит процессор с кучей ядер, и пока четыре ядра обслуживают запросы, другие четыре ядра параллельно фигачат уборку мусора.

В дешевых пользоваельских SSD бывает вообще нет оперативной памяти - вместо нее используется NAND в режиме SLC. Она же и кэшем работает.
Понятное дело потом из SLC надо переписать в TLC - опять же когда диск будет простаивать.
Он же не рассчитан что его будут длительное время гонять под нагрузкой.

Ну резерв - с ним понятно, его и самому увеличить не трудно.

[АртемЪ]

Установили новые винты, инициировал рейд, создал массив. Он ведь пустым должен был создаться?

Не факт. Новые диски не значит пустые - может там были данные.
Опять же рэйд по разному создается, зачастую с тестированием поверхности - т.е с записью данных.

[АртемЪ]

По поводу 1с.
Если работает в терминале да еще и с файловыми базами - обязательно SSD на системный диск.
Далее - зеркало принципиально важно и критично?.

Подскажите ещё, может, взять SSD и прикрепить как кэш к обычным винтам?

Не лучшая идея.

[Владимир Кивва]

АртемЪ, спасибо, сильно пахнет деградацией по мусору, действительно. Сделаю по фен-шую, затем помечу в этой теме.

[Владимир Кивва]

АртемЪ,
все кэши выключены, OP ~30%, диск предварительно очищен. Пробовал несколько рекомендаций - ничего не помогает.
Не представляю, что происходит...

[Владимир Кивва]

АртемЪ, про зеркало. Ну не представляю, как без него вообще. Это нужно, чтобы точно консистентность бэкапов что-то проверяло, а там 20 виртуалок, забодаешься, считаю. Лучше уж пусть бэкапы и зеркало. Хотя, если чисто базы на SSD и их аккуратнее бэкапить. Всё-таки думаю немцев попросить напрямую подключить SSD, сделать 2 датастора и уже рейды в винде собирать. Муторно, но работает нормально, характеристики SSD выдаёт заявленные точь-в-точь.

[АртемЪ]

Владимир Кивва,

, OP ~30%, диск предварительно очищен

Как сделали OP - подробно расскажите, и каким образом предварительно очистили диск?

[АртемЪ]

а там 20 виртуалок, забодаешься, считаю.

Это где там?
Бэкапы и зеркало - разные вещи для разных задач.
Бэкап это чтобы не потерять данные в любом случае.
Зеркало это чтобы работу не остановить при отказе диска. В принципе оно иногда позволяет сохранить кусок данных изменившихся в промежутке между последним бэкапом и утратой данных, но не всегда.

По поводу софт зеркала - в описанной ситуации, я бы тоже предпочел вариант софт рейда.

[Владимир Кивва]

АртемЪ, фрицы подключили напрямую в САТА, потом linux загрузил и blkdiscard -s -z /dev/sdX на оба диска. Потом обратно винты в зеркало разметил, но только 200GB. Потом ESXi, добавил датастор, форматнул весь уже.

Без зеркала вероятность когда-нибудь обратиться к бэкапу сильно вырастает.

[АртемЪ]

Владимир Кивва,

фрицы подключили напрямую в САТА, потом linux загрузил и blkdiscard -s -z /dev/sdX на оба диска. Потом обратно винты в зеркало разметил, но только 200GB.

Теперь по шагам что вы сделали -
1)Командой blkdiscard -s -z /dev/sdX вы забили диск нулями - диск гарантированно стал заполнен на 100%.
2)Разметили часть диска под раздел, оставив 30% неразмеченными.
В итоге у вас 30% диска заполнено информацией (нулями) и контроллер диска не может их удалить, ибо считает, что это важная для вас информация.

В общем резерва у диска не появилось. Вместо этого 30% диска занято информацией на вечном хранении.

[Владимир Кивва]

АртемЪ, в интернете писали, что он правильно понимает blkdiscard

When you use blkdiscard, the SSD (assuming a SATA SSD) will receive an
ATA TRIM command, whereas hdparm --security-erase will issue an ATA
SECURITY ERASE UNIT command.

What the drive then actually does is dependant on the implementation
details of that particular SSD's firmware.

hdparm --user-master u --security-erase Eins /dev/sdX нормально сработает?

И там же:

Personally, unless I want to keep some of the data on the drive, I use
hdparm --security-erase, as I feel that this is most likely to reset the
drive to its as-new state

И ещё, если оставшиеся гигабайты сейчас собрать в зеркало, подключить к линуксу, сделать секьюрирейс, потом удалить из массива - не то пальто будет? Просить переключить в SАТА снова?

[АртемЪ]

-z, --zeroout
Zero-fill rather than discard

Т.е можно удалить информацию - сообщить диску, что информация не нужна. Фактически очистить диск.
А можно добавить ключик -z - забить нулями.

[Владимир Кивва]

АртемЪ, facepalm.

[Владимир Кивва]

АртемЪ, разморозить диски пока не получилось для secure erase.

Всё совпадает, верно выполнена и можно соединять в массив, проверять?
Не в курсе правильных настроек для LSI Megaraid в данном случае? Интернет расходится в мнениях.
Read Ahead - не нашёл нормального мнения про ESXi.
Есть IO Policy, который, вроде как, Direct рекомендуется именно для ESXi, иначе гипер неверно задержки понимает.
Есть Drive Cache, который означает задействование кэша самих винтов и рекомендуется к отключению, когда под ESXi, опять же.
BGI включать никто не рекомендует, если нет частой замены дисков.
Ну и Write Policy, который в тестах не включаю, а вообще рекомендуется к включению на все случаи жизни, кроме ситуации, где массив для холодного хранилища.

Как я понял, Write Back и Drive Cache - параметры антагонисты. Когда включён первый, то второй создаёт буфер буфера, из-за чего возникают лишние задержки. Drive Cache надо включать, если используется Write Through?

Рекомендации вендоров, ссылка обязана тут быть для будущих поколений: https://www.supermicro.com/CaseStudies/6Gbs_LSI_b.pdf

Answer 2

[Пума Тайланд]

Попробуйте софтовый рейд , оно намного веселее

Comments

[Владимир Кивва]

Если бы только Варя его умела. Или сделать два датастора и соединить внутри венды подразумеваете?