Жесткий диск и странный глюк с откатом данных в бд, размещенных на нем?

Question

[Gaikotsu]

Имеется:


SSD винт, файловая система Ext4 на нем, винт используется для хранения баз данных под mysql, работает все под Ubuntu.

В один прекрасный момент из-за какого-то сбоя система перевела винт в режим read-only.

Sep 8 05:01:00 new-server kernel: [1233345.472262] pa ffff8805a0f629c0: logic 878, phys. 23922707, len 146<br/>
Sep 8 05:01:00 new-server kernel: [1233345.472546] EXT4-fs error (device sdb1): ext4_mb_release_inode_pa: free 144, pa_free 143<br/>
Sep 8 05:01:00 new-server kernel: [1233345.472986] Aborting journal on device sdb1-8.<br/>
Sep 8 05:01:00 new-server kernel: [1233345.473262] EXT4-fs (sdb1): Remounting filesystem read-only<br/>
Sep 8 05:01:00 new-server kernel: [1233345.473657] EXT4-fs error (device sdb1) in ext4_reserve_inode_write: Journal has aborted<br/>
Sep 8 05:01:00 new-server kernel: [1233345.473991] EXT4-fs error (device sdb1) in ext4_reserve_inode_write: Journal has aborted<br/>
Sep 8 05:01:00 new-server kernel: [1233345.474317] EXT4-fs error (device sdb1) in ext4_orphan_del: Journal has aborted

Вроде ничего эдакого и после перемонтирования все должно снова заработать без проблем, ну максимум потеря не записанных после сбоя данных.

Но вот тут то и начинаются странные вещи — после перемонтирования винта, состояние баз данных на нем (т.е. все данные в них) почему-то оказались за 1 сентября, т.е. все записанные данные в бд откатились на целую неделю назад, как будто целую неделю никто в базы вообще и не писал ничего (тогда как чтение/запись в базы идет в больших количествах очень активно и постоянно).

А в той копии баз, которая была на всякий случай перед размонтированием сделана и скопирована на другой винт, внезапно оказалось множество повреждений таблиц и потерь записей в них.


Один раз нечто подобное уже было около месяца назад (и откатило данные тоже где-то на неделю), но тогда уж не стали разбираться — единичный случай, мало ли в чем причина вообще и просто восстановили все из последнего бэкапа. но два раза — это уже закономерность…


Есть у кого-то идеи, почему так может быть?

Answer 1

[XuMiX]

Ну, мне кажется тут несколько проблем:
1) Ext4 — я бы ОЧЕНЬ осторожно использовал в продакшене
2) Убунту — тоже как-то не доверяю, если честно (я бы взял дебиан/центос)

Answer 2

[Gaikotsu]

Ну в общем можно сказать вопрос уже не актуален.

Выяснилась в общем занятная вещь: как так получилось непонятно, но состояние данных на нем каким-то образом зафиксировалось так сказать на то, какое было неделю назад и при размонтировании/примонтировании или рестарте компа — сбрасывалось обратно на это самое время. как при этом при штатной работе он как-то нормально сохранял и отдавал новые данные и куда он их так умудрялся писать — ума не приложу.

любые попытки удалить разделы или хотя бы просто отформатировать этот винт увы закончились провалом, так что видимо все — отмучался винт.

Answer 3

[Пума Тайланд]

А я бы задумался о бекапах и том что винты ссд быстро выходят из строя при определенных нагрузках, проще перенести базу на другой винт и забыть про этот ссд.

Comments

[Gaikotsu]

бэкапы и так делаются.
ну а обычные винты опять же не выход — нужно очень высокое быстродействие при чтении/записи данных из бд.

Answer 4

[Temikus]

Какой SSD? Производитель? Модель? Версия прошивки контроллера?

Выполняли оптимизацию файловой системы (noatime, nodiratime), ядра (swappiness, vm.vfs_cache_pressure), I/O sheduler'a, наподобие этого?