Новый HDD уходит в read-only под нагрузкой сайтов, что делать?

Question

[Макс]

Добрый день!

40 дней назад взял сервер на с процессором Ryzen и дисками 2x500 SSD (sda+sdb) + 1x4TB HDD (sdc), сервер зависал раз в 12 часов. После переписки с суппортом выяснилось что проблема в HDD и диск заменили на новый (как они сказали).

Прошло 40 дней, на сервере появилась небольшая нагрузка, и вот уже 2ой день подряд вебсервер перестает работать после того как HDD на котором лежат файлы сайта (базы, и сама система - на SSD). Все это совпало с почти минимальной нагрузкой, до этого ее не было почти совсем

Вдобавок ко всему, при попытке записать файл кэша на диск Апач создает до 100 процессов которые подвисают, и как результат вебсервер вообще перестает работать на обработку запросов, процессы апача просто висят. Решил временно перезагрузкой раз в 5 минут апача.


Вчера я сделал fsck -f -y /dev/sdc
Проверка прошла довольно быстро, после чего перезагрузил сервер полностью и диск стал опять RW.
Вот данные /var/log/syslog
pastebin.com/PtFjWpzk

Сегодня сделал тоже, проверка шла дольше и ошибок больше, решил запустить SMART - жду пока отработает проверка, вот скрин до проверки текущей.
Спустя пол часа работы сервера после перезагрузки уже появилось 96 Bad Sectors, до этого было и 200... :


Контент на диске - 2 ТБ из 4 ТБ , 1ТБ - архивы и дампы , 1 ТБ - файлы по большей части мелкие (файлы кеша html страниц, картинки). Проверял iostat - утилизация была на уровне 5-10%, не больше, это уже когда диск только в Read Only.


Вот как выглядит нагрузка после перезагрузки и диск в RW находится, до того как опять посыпались ошибки.


Вопросы:
1. Отчего может уходить диск в Read-only и связано ли это с нагрузкой?
2. Может ли за месяц придти диск в негодность и какие "вредные советы" для этого?
3. Что делать дальше?

Лог syslog / dmesg pastebin.com/PtFjWpzk
Лог fsck pastebin.com/eSqeuFJc

Comments

[Ezhyg]

уже 2ой день подряд вебсервер перестает работать после того как HDD на котором лежат файлы сайта (базы, и сама система - на SSD).

После того как ... что?

взял сервер на с процессором

типа шутка

Алёна?! Это Яна!
Я не Алёна и я не знаю никакой Яны.
Я не Яна, это я, на, так разговариваю, на!

JBD2

Диски объединены в JBOD?

[Павел]

для начала было бы не плохо указать модель дисков используемых в сервере.

Answer 1

[Пума Тайланд]

Видимо диск опять умирает, если он в начале был хороший то есть вероятность что ваши проблемы с диском связаны либо с шлейфом либо с контроллером либо с питанием

Comments

[Макс]

Диск заменили. Но тут какие-то пугающие цифры.


Просить менять еще раз?

[Пума Тайланд]

wtfowned, ну я же вам написал что ваши проблемы с диском не связаны скорее всего

Answer 2

[jcmvbkbc]

# fsck -f -y /dev/sdc
...
Warning! /dev/sdc is mounted.
...

Не нужно чекать примонтированный диск, лучше ему от этого не станет.
Если приспичило почекать -- сначала отмонтируй.

Comments

[Макс]

А чем это грозит?

[jcmvbkbc]

Это грозит потерей данных. man fsck.* для конкретной файловой системы может добавить деталей. Так, например, man fsck.ext4 говорит:

Note that in general it is not safe to run e2fsck on mounted filesystems. The only exception is if the -n option is specified, and -c, -l, or -L options are not specified. However, even if it is safe to do so, the results printed by e2fsck are not valid if the filesystem is mounted. If e2fsck asks whether or not you should check a filesystem which is mounted, the only correct answer is ``no''. Only experts who really know what they are doing should consider answering this question in any other way.

Answer 3

[АртемЪ]

Все эти графики ничего полезного не говорят.
Очередь диска надо смотреть.
iostat
atop
С большой вероятностью он просто не справляется с нагрузкой.

Comments

[Макс]

Добавил скрин


Разве диск не должен просто увеличивать время отклика под нагрузкой? Здесь же у него появляются Bad Sectors раз в пол часа, и переходит в Read Only, полны логи ошибок.

Почитал на паре форумов, проблема не такая уж и редкая, чего только не советуют - от хардвар проблем вроде замены шлейфов и проверки диска SMART (в моем случае хард новый), до софтварных вроде драйвера диска и его прошивок, совместимости контроллера с Hdd определенных производителей...При этом ничего из вышеперечисленного так и не помогло экспериментаторам.

Решений или рабочих вариантов которые бы помогли не видел.

[Zettabyte]

wtfowned,

от хардвар проблем вроде замены шлейфов

Т.е. шлейф, качество самого питания и его подачи, а также его общую достаточность для сервера вы проверили?

[АртемЪ]

wtfowned,

Разве диск не должен просто увеличивать время отклика под нагрузкой?

Должен.

Здесь же у него появляются Bad Sectors раз в пол часа

С чего вы взяли это? Я может конечно где-то что-то упустил, но в приведенных вами скриншотах этого не видно.

и переходит в Read Only

То же самое.

полны логи ошибок.

Да ошибки файловой системы есть.

от хардвар проблем вроде замены шлейфов

Не видно проблем со шлейфом.

и проверки диска SMART (в моем случае хард новый)

Какая разница новый он или старый???

[Макс]

Zettabyte, нет, это распространенная проблема? Недостаточность питания и плохой шлейф...серверу только 1.5 года с момента сборки, а диску 40 дней, сомнительно что там могло резко что то ухудшиться.

Пока занимаюсь выкачиванием архивов, после этого напишу в техподдержку, сейчас их опасаюсь: в прошлый раз сказали что диск умер и "подтвердите утерю всех данных".

[Макс]

АртемЪ,

С чего вы взяли это? Я может конечно где-то что-то упустил, но в приведенных вами скриншотах этого не видно.

Вставил скрин в стартпост. Пока обновлял пост с добавлением, за 10 минут появилось еще 10 bad sectors.

У меня подозрения что ошибки появляются из за большого количества рандомных запросов на чтение-запись маленьких файлов по 30кб, коих больше миллиона (кэши HTML страниц сайтов). Планирую перенести часть из них на SSD диск и посмотреть как пойдет, но это костыли какие-то, хочется конечно понять что с диском происходит.

[АртемЪ]

wtfowned,

У меня подозрения что ошибки появляются из за большого количества рандомных запросов на чтение-запись маленьких файлов по 30кб, коих больше миллиона

А чего они на HDD делают вот эти самые файлы??
Их вообще то на SSD размещают.

Это базы данных и систему можно хранить на медленном диске, но никак не мелкие файлы которые постоянно меняются.

[Макс]

АртемЪ, я не специалист и не знал. Но разве при этом диск должен уходить в Read-only? Опять же - я думал он просто должен тупить и все, максимум. А тут получается без объявления войны он сыпется и все, при этом utilisation на уровне 40% в пиках (хотя в момент перехода в read-only может и больше).