Сервер с 2xSSD в зеркале mdadm, тормозит один из дисков. Как найти причину?

Question

[Vladimir F]

Коллеги, столкнулся со следующей проблемой:
Имеется сервер в hetzner. Сервер под относительно невысокой нагрузкой, всё работало отлично. Дисковая подсистема представляет собой 2 ssd накопителя в софтовом зеркале. Спустя некоторое время мониторинг отрапортовал о проблемах в smart одного из дисков, о чем я создал заявку в саппорт и диск поменяли. Отзеркалил всё обратно, сервер работал нормально. Но было это всё ночью, а когда наступил день и пошла обычная нагрузка сервисы(сайты) стали дико тормозить. Посмотрел в atop и увидел там нечто ужасное:

sdb это тот самый "новый" диск.
Диск конечно поставили не свежий и сильно БУ, но даже согласились на повторную замену, ситуация повторилась. При этом синхронизация дисков проходит на 200МБайт в сек.

Answer 1

[АртемЪ]

Вполне вероятно так- TRIM не работает, SSD обычные пользовательские, over provisioning не выделен.
В итоге получаем - при синхронизации большой объем записи, резерв чистых ячеек кончается, и вполне закономерно начинаются дикие тормоза на новом диске, ну а поскольку зеркало работает не быстрей чем самый медленный из дисков его составляющих - тормозит весь массив.

Comments

[Vladimir F]

Trim ИМХО не может так влиять - там всего 200Гб раздел, занято сейчас 93Гб. Тем более при синхронизации оно на всем пространстве диска даёт ровные 200Мбайт в сек, но потом ложится от 6Мбайт в сек, причем чтения?

[АртемЪ]

Vladimir F: Именно это и влияет.
Емкость диска какая? Данных сколько? Диск какой?
Если у вас диск 200Гб емкостью, занято данными почти сто гигабайт.
При синхронизации вы запишите на него 100гигабайт - уже высокий шанс что ни одной свободной для записи ячейки не осталось. А если и осталось, то через несколько часов интенсивной работы с диском уже гарантированно свободных ячеек не будет.

Ровные 200Мбайт он будет давать пока чистое место есть.

[Vladimir F]

АртемЪ: Всего фактически 238Гб, основной рейд-раздел 200Гб, занято 93Гб.
Model Number: Crucial_CT256MX100SSD1

[АртемЪ]

Vladimir F: Ну значит все так и есть.
Диск обычный не серверный, TRIM не работает - в итоге диск всегда будет забит под завязку, свободного места там никогда не будет.

Есть три варианта решения проблемы -
1)Купить нормальный серверный SSD.
2)Обеспечить работу TRIM
3)Выделить резерв, для нормальной работы без TRIM - сотню гигабайт выделите под over provisioning и все будет хорошо.

[Vladimir F]

АртемЪ: ок, но второй диск тоже не серверный - SAMSUNG MZ7LN256HMJP-00000 и работает хорошо (раньше было два таких в зеркале пока один не кончился). Ну и оставлять 100гб из 200 всего как-то странно кажется...

[АртемЪ]

Vladimir F:

но второй диск тоже не серверный - SAMSUNG MZ7LN256HMJP-00000 и работает хорошо

Это сложно гарантированно предсказать - зависит от кучи факторов - насколько диск заполнен, какой объем записи у вас идет, какой резерв у диска с завода, насколько быстрый процессор, сколько оперативной памяти. стратегия работы контроллера, и.т.д.

Под нагрузкой, в режиме отсутствия свободных ячеек они будут вести себя по разному и просадка производительности будет разная.

Ну и оставлять 100гб из 200 всего как-то странно кажется...

Вы цены на серверные диски видели? Заметили что они стоят в несколько раз дороже при прочих равных?
Не задумывались - почему так?
Основных отличий там три -
1) Резерв ячеек у серверного диска очень большой не менее 50% емкости, бывает и 300% емкости. Т.е серверный диск на 200Гб зачастую имеет на борту установленный объем памяти 500Гб, а пользователю доступно только 200 из них.
2) У серверного диска процессор тупо мощнее и оперативки больше - больше операций успевает сделать за единицу времени.
3) Ну и еще разные стратегии работы контроллера

Поменять процессор или добавить оперативки в SSD мы не можем, переписать прошивку тоже.
А вот изменить размер резерва свободных ячеек можем.

У обычного пользовательского SSD обычно с завода идет очень небольшой резерв - обычно не более 3-5% емкости.
Для обычного пользователя этого хватает с лихвой, пользователь никогда не создает длительную и непрерывную нагрузку.

А вот в серверном применении этого явно не хватит. Сколько именно резерва оставлять опять же зависит от множества факторов - иногда достаточно 30% объема, иногда надо 200-300%.

Ну разумеется оставить свободное место это тоже надо делать с умом - т.е убедится что там ничего не записано. Это достигается либо полной очисткой диска утилитой от производителя, либо с помощью TRIM, и только тогда, когда есть полная уверенность что там ничего не записано, это место оставляется неразмеченным.
В другом случае смысл в этом не будет.

[Пума Тайланд]

глупости ни на одном сервере хетзнера такого нет
использовал все линейки хетзнера с момента появления ссд

[АртемЪ]

Пума Тайланд, Поподробнее пожалуйста, о чем вы непонятно.

[Пума Тайланд]

АртемЪ, я к тому что проблема не в триме

[АртемЪ]

Пума Тайланд, А в чем?

[Пума Тайланд]

АртемЪ, очевидно в чем то другом

[АртемЪ]

Пума Тайланд, Ну я и не говорил что проблема в триме, на серверах он чаще всего не работает, а если и работает, то не эффективно.
Проблема в отсутствии чистых ячеек - трим лишь одна из причин этого, далеко не самая важная.

[Пума Тайланд]

АртемЪ, ну откуда у вас такие мысли то?

[АртемЪ]

Пума Тайланд, Изначально чистый диск ставиться и синхронизируется - большой объем записи, но поскольку диск чистый скорость нормальная, после синхронизации остается немного свободых ячеек, при неработающем триме весь доступный пользователю объем будет заполнен через довольно непродолжительное время.
Резерв не выделяли, поэтому остается только резерв от производителя, поскольку диск не серверный, то размер этого резерва небольшой. В зависимости от производителя обычно 3-15Гб.

Ну а дальше - достаточно дать непрерывную нагрузку на запись, чтобы сборщик мусора не успевал отработать и этот резерв будет исчерпан, и получим сильную просадку записи, особенно если запись идет мелкими блоками.В таком режиме SSD работает даже медленней HDD зачастую. Там же получается что для любой записи придется очищать блок - а это несколько мегабайт. Надо записать 15килобайт - читаем пару мегабайт, очищаем, потом пишем обратно мегабайт и эти 15килобайт. Скорость падает в сотни раз.

[Пума Тайланд]

АртемЪ, у меня почти все ссд под тяжелой нагрузкой, у многих занято 80-90 процентов данными и ни на одном не наблюдается такой проблемы.
Все в хетзнере

[АртемЪ]

Пума Тайланд, В рэйде? Какие именно модели? Что в вашем случае является тяжелой нагрузкой?

[Пума Тайланд]

АртемЪ, все диски в хетзнер в одинаковом рейде 1 у всех, ну чего побольше чем у тс, ну скажем на пол террабайта бд большого сайта

[АртемЪ]

Пума Тайланд, Весь вопрос в том что за контроллер, что за диск в данном конкретном случае, и какая именно нагрузка.

[Пума Тайланд]

АртемЪ, да нет никакого контроллера это софтовые рейды
У меня есть к сожалению все типы ссд от хетзнер так как он не сильно часто конфиги обновляет

[АртемЪ]

Пума Тайланд, По поводу софтовых - взять тот же mdadm он вроде поддерживает проброс trim, однако в некоторых случаях trim работает, а в некоторых нет.
Я давно не пользовался хецнером, но если судить по тому как там было раньше - ставят они что попало, лишь бы работало.