Использование SSD более 100% — возможно ли это и почему случилось?

Question

[47911]

Здравствуйте. Вообщем наблюдаю несовсем понятную ситуацию на сервере.
Есть 2 SSD диска(Производитель и модель ADATA SX8200PNP), подключены через слот "видеокарты".

/dev/nvme0n1

Расположение NVME SSD 0 drive 1
Размер диска 976.72 GiB
Производитель и модель ADATA SX8200PNP
SMART поддерживается? Да
SMART включен? Да
Проверка пройдена? Да
===========================
smartctl 6.6 2017-11-05 r4594 [x86_64-linux-4.19.0-17-amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Number: ADATA SX8200PNP
Serial Number: 0000000000000
Firmware Version: S0118C
PCI Vendor/Subsystem ID: 0x1cc1
IEEE OUI Identifier: 0x000000
Controller ID: 1
Number of Namespaces: 1
Namespace 1 Size/Capacity: 1,024,209,543,168 [1.02 TB]
Namespace 1 Formatted LBA Size: 512
Local Time is: Tue Sep 28 11:39:33 2021 +07
Firmware Updates (0x14): 2 Slots, no Reset required
Optional Admin Commands (0x0016): Format Frmw_DL Self_Test
Optional NVM Commands (0x005f): Comp Wr_Unc DS_Mngmt Wr_Zero Sav/Sel_Feat Timestmp
Maximum Data Transfer Size: 64 Pages
Warning Comp. Temp. Threshold: 75 Celsius
Critical Comp. Temp. Threshold: 80 Celsius

Supported Power States
St Op Max Active Idle RL RT WL WT Ent_Lat Ex_Lat
0 + 9.00W - - 0 0 0 0 0 0
1 + 4.60W - - 1 1 1 1 0 0
2 + 3.80W - - 2 2 2 2 0 0
3 - 0.0450W - - 3 3 3 3 2000 2000
4 - 0.0040W - - 4 4 4 4 6000 8000

Supported LBA Sizes (NSID 0x1)
Id Fmt Data Metadt Rel_Perf
0 + 512 0 0

=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

SMART/Health Information (NVMe Log 0x02, NSID 0xffffffff)
Critical Warning: 0x00
Temperature: 36 Celsius
Available Spare: 100%
Available Spare Threshold: 10%
Percentage Used: 2%
Data Units Read: 67,898,083 [34.7 TB]
Data Units Written: 23,510,229 [12.0 TB]
Host Read Commands: 3,664,943,069
Host Write Commands: 967,519,731
Controller Busy Time: 57,686
Power Cycles: 38
Power On Hours: 15,120
Unsafe Shutdowns: 15
Media and Data Integrity Errors: 0
Error Information Log Entries: 0
Warning Comp. Temperature Time: 0
Critical Comp. Temperature Time: 0
Thermal Temp. 1 Transition Count: 18
Thermal Temp. 2 Transition Count: 14
Thermal Temp. 1 Total Time: 135
Thermal Temp. 2 Total Time: 210

Error Information (NVMe Log 0x01, max 256 entries)
No Errors Logged

/dev/nvme1n1

Расположение NVME SSD 1 drive 1
Размер диска 976.72 GiB
Производитель и модель ADATA SX8200PNP
SMART поддерживается? Да
SMART включен? Да
Проверка пройдена? Нет
============================
smartctl 6.6 2017-11-05 r4594 [x86_64-linux-4.19.0-17-amd64] (local build)
Copyright (C) 2002-17, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Number: ADATA SX8200PNP
Serial Number: ХХХХХХХХХХХХХХ
Firmware Version: S0118C
PCI Vendor/Subsystem ID: 0x1cc1
IEEE OUI Identifier: 0x000000
Controller ID: 1
Number of Namespaces: 1
Namespace 1 Size/Capacity: 1,024,209,543,168 [1.02 TB]
Namespace 1 Formatted LBA Size: 512
Local Time is: Tue Sep 28 11:29:33 2021 +07
Firmware Updates (0x14): 2 Slots, no Reset required
Optional Admin Commands (0x0016): Format Frmw_DL Self_Test
Optional NVM Commands (0x005f): Comp Wr_Unc DS_Mngmt Wr_Zero Sav/Sel_Feat Timestmp
Maximum Data Transfer Size: 64 Pages
Warning Comp. Temp. Threshold: 75 Celsius
Critical Comp. Temp. Threshold: 80 Celsius

Supported Power States
St Op Max Active Idle RL RT WL WT Ent_Lat Ex_Lat
0 + 9.00W - - 0 0 0 0 0 0
1 + 4.60W - - 1 1 1 1 0 0
2 + 3.80W - - 2 2 2 2 0 0
3 - 0.0450W - - 3 3 3 3 2000 2000
4 - 0.0040W - - 4 4 4 4 6000 8000

Supported LBA Sizes (NSID 0x1)
Id Fmt Data Metadt Rel_Perf
0 + 512 0 0

=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: FAILED!
- NVM subsystem reliability has been degraded

SMART/Health Information (NVMe Log 0x02, NSID 0xffffffff)
Critical Warning: 0x04
Temperature: 36 Celsius
Available Spare: 100%
Available Spare Threshold: 10%
Percentage Used: 134%
Data Units Read: 473,472,097 [242 TB]
Data Units Written: 1,602,371,132 [820 TB]
Host Read Commands: 26,657,848,436
Host Write Commands: 25,830,242,567
Controller Busy Time: 255,528
Power Cycles: 49
Power On Hours: 16,047
Unsafe Shutdowns: 14
Media and Data Integrity Errors: 0
Error Information Log Entries: 0
Warning Comp. Temperature Time: 0
Critical Comp. Temperature Time: 0
Thermal Temp. 1 Transition Count: 18
Thermal Temp. 2 Transition Count: 15
Thermal Temp. 1 Total Time: 120
Thermal Temp. 2 Total Time: 167

Error Information (NVMe Log 0x01, max 256 entries)
No Errors Logged

*На "Percentage Used: 134%" стоит Debian + nginx + php-fpm + mariadb + postfix(т.е. основной почти сдох - как? Он работает от силы 1,5 года), а на "2% использования" находятся ~250 сайтов(только их файлы, картинки).

Собственно вопросы:
1) была ситуация кода "/dev/nvme0n1" и "/dev/nvme1n1" данные поменялись местами. Это нормально?(при этом после перезагрузки всё в порядке было)
2) Я вижу "Percentage Used: 134%". Как такое возможно и как выяснить: откуда это?

Comments

[Aelliari]

1) была ситуация кода "/dev/nvme0n1" и "/dev/nvme1n1" данные поменялись местами. Это нормально?(при этом после перезагрузки всё в порядке было)

Если есть возможность не верить точкам автомонтирования - не верь. Это не касается ручного монтирования. Лучше верить uid диска, точка монтирования т может измениться штатно, а вот он - при штатной работе изменяться не будет

Answer 1

[Rsa97]

Percentage Used - это ориентировочный износ накопителя. Он определяется по объёму записи, за 100% принимается некое расчётное значение. На диске с системой у вас постоянная запись, скорее всего там находится база данных и своп. Диск с файлами сайта практически не используется, скорее всего, значительная часть постоянно используемых файлов отдаётся из кэша в оперативной памяти.
Но запасные блоки ещё не задействованы (Available Spare: 100%), значит диск пока можно не менять.

Percentage Used: 2%
Data Units Written: 23,510,229 [12.0 TB]

Percentage Used: 134%
Data Units Written: 1,602,371,132 [820 TB]

134 / 820 * 12 = 1.96 ≈ 2

Comments

[47911]

@Rsa97
Вопрос в том, что диски при перезагрузки меняются местами. Т.е. диск с "2%" меняется местами с "134%". И при этом данные не меняются. Т.е. "сначала износ 134%" был у "основного диска", а потом стал "у дополнительного, с сайтами". А потом поменялся назад.

Что это за формула? Что означает "1.96"? "12" - это количество месяцев?

*дополнил вопрос: на осномном, помимо системы есть ещё 25-30 сайтов. Но я думаю это не кретично.

** А не слишком ли быстро за "1.5 года" оно набрало "134% износа"?

[Rsa97]

47911, Формула - это просто пропорция, показывает, что процент использования пропорционален объёму записи.
Почему диски меняются местами, с ходу не скажу. Могу предположить, что обнаружение устройств работает параллельно и нумерация зависит просто от порядка обнаружения. При этом монтирование производится по идентификаторам устройств (/dev/disk/by-uuid) и не зависит от их символьных имён.
А насчёт "быстро" - износ зависит не от времени, а от объёма записи. У вас получается 820Tb / 16047час. ≈ 52Gb/час. Что в таких количествах пишется - это, скорее, вопрос к вам.

[47911]

Rsa97
Тогда такой вопрос: а база данных - таблица сессий(как самое основное, что пришло в голову) + логи от nginx + кешеированные файлы сайтов(КЕШ - ~30 шт.) + файл подкачки на ~ 100гигов(используется порядка 15 гигов, оперативы на 100 гигов - поэтому файл подкачки на 100 гигов) - что-то не вериться что это всё создаёт "52Gb/час". Я не подвергаю сомнениям ваши вычисления. Но есть ли вероятность что "выводимая инфа не верна"?
===
Есть теория, что из-за того что видео-слот "PCI Express" используется, в нём стоит плата в которую воткнуты оба SSD nvme, так вот теория: что глюк из-за того что два стоит в одном слоте,а слот в режиме не 16х а 4*4х. Собственно может ли это "выводить неверные данные"?

===

И в догонку: может что-то ещё расходует ресурс? Есть ли способ начать поиск?(куда смотреть, за что хвататься, и что читать)

[Rsa97]

47911, Данные снимаются не с шины, а с контроллера самого диска. Он знает, сколько писал.
Посмотрите эту статью: https://habr.com/ru/post/476414/
Тут как раз автор исследовал, какая программа много пишет на диск.

[Виктор Таран]

Повышеный износ как правило происходит не из-за самой баз данных скольо при отсутствие свободного места на диске
поскольку технология TRIM продляет срок службы диска очень даже значительно
но она естественно не работает когда нет этих свободных секторов.

[47911]

Виктор Таран, Свободное место есть всегда.