Может ли этот график говорить о «нормальной работе диска»?

Question

[Виктор Таран]

У сервера очень странное поведение выражено в том что сервер тротлит притом по несколько секунд
при этом
1. это не рейд
2. не проц и не оперативка посколкьу они реально заняты на 2%
3. не бд поскольку не загружено
4. не I-O поскольку iotop показывает 1-2% загрузки ввода вывода ( по 500-3000Кб что для ссд кабы мало)
В общем сервер стоит холодный, но тротлинг есть
И да это не сеть
Единственное отклонение это Load Avarage 5-7 и вроде не так много но при 2% загрузке сервера это очень много.
А вот самый странный график ( диски в рейде склеены и разбиты на два виртуальных)

Может ли в зеркале один из дисков грузиться в 40 раз больше второго ?
При этом реальный I-O ни то что до 300 мегабайт в сек не доходит , он и до 1 мегабайта редко поднимается.
12 ядер по 4, так что вопрос не в скорости

тротлит обсалютно все даже ssh !
91.206.15.17/11.gif

Comments

[Виктор Таран]

ага если бы смарт хоть что-то показывал, то давно бы было основание диски заменить.

пациент

smartctl -ia /dev/sdb
smartctl 6.5 2016-05-07 r4318 [x86_64-linux-3.10.0-957.10.1.el7.x86_64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model: KINGSTON SA400S37480G
Serial Number: 50026B77822D92D0
LU WWN Device Id: 5 0026b7 7822d92d0
Firmware Version: SBFK61E1
User Capacity: 480,103,981,056 bytes [480 GB]
Sector Size: 512 bytes logical/physical
Rotation Rate: Solid State Device
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: ACS-3 T13/2161-D revision 4
SATA Version is: SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Wed Sep 4 13:54:27 2019 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Total time to complete Offline
data collection: (65535) seconds.
Offline data collection
capabilities: (0x00) Offline data collection not supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x0032 000 100 000 Old_age Always - 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always - 6251
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 13
148 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 0
149 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 0
167 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 0
168 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 0
169 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 10
170 Unknown_Attribute 0x0000 100 100 010 Old_age Offline - 23
172 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0
173 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 327694
181 Program_Fail_Cnt_Total 0x0032 100 100 000 Old_age Always - 0
182 Erase_Fail_Count_Total 0x0000 100 100 000 Old_age Offline - 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0
192 Power-Off_Retract_Count 0x0012 100 100 000 Old_age Always - 12
194 Temperature_Celsius 0x0022 074 063 000 Old_age Always - 26 (Min/Max 1 7/37)
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0
199 UDMA_CRC_Error_Count 0x0032 100 100 000 Old_age Always - 0
218 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0
231 Temperature_Celsius 0x0000 001 001 000 Old_age Offline - 99
233 Media_Wearout_Indicator 0x0032 100 100 000 Old_age Always - 1594
241 Total_LBAs_Written 0x0032 100 100 000 Old_age Always - 3288
242 Total_LBAs_Read 0x0032 100 100 000 Old_age Always - 471
244 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 5
245 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 14
246 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 256256

SMART Error Log Version: 1
No Errors Logged

sda

Smartctl open device: /dev/sdф failed: No such device
[root@nebokassa ~]# smartctl -ia /dev/sda
smartctl 6.5 2016-05-07 r4318 [x86_64-linux-3.10.0-957.10.1.el7.x86_64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model: KINGSTON SA400S37480G
Serial Number: 50026B77822D91DD
LU WWN Device Id: 5 0026b7 7822d91dd
Firmware Version: SBFK61E1
User Capacity: 480,103,981,056 bytes [480 GB]
Sector Size: 512 bytes logical/physical
Rotation Rate: Solid State Device
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: ACS-3 T13/2161-D revision 4
SATA Version is: SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Wed Sep 4 13:55:40 2019 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Total time to complete Offline
data collection: (65535) seconds.
Offline data collection
capabilities: (0x00) Offline data collection not supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x0032 000 100 000 Old_age Always - 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always - 6251
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 13
148 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 0
149 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 0
167 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 0
168 Unknown_Attribute 0x0012 100 100 000 Old_age Always - 0
169 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 14
170 Unknown_Attribute 0x0000 100 100 010 Old_age Offline - 32
172 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0
173 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 1048616
181 Program_Fail_Cnt_Total 0x0032 100 100 000 Old_age Always - 0
182 Erase_Fail_Count_Total 0x0000 100 100 000 Old_age Offline - 0
187 Reported_Uncorrect 0x0032 100 100 000 Old_age Always - 0
192 Power-Off_Retract_Count 0x0012 100 100 000 Old_age Always - 12
194 Temperature_Celsius 0x0022 073 062 000 Old_age Always - 27 (Min/Max 19/38)
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0
199 UDMA_CRC_Error_Count 0x0032 100 100 000 Old_age Always - 0
218 Unknown_Attribute 0x0032 100 100 000 Old_age Always - 0
231 Temperature_Celsius 0x0000 002 002 000 Old_age Offline - 98
233 Media_Wearout_Indicator 0x0032 100 100 000 Old_age Always - 4406
241 Total_LBAs_Written 0x0032 100 100 000 Old_age Always - 7557
242 Total_LBAs_Read 0x0032 100 100 000 Old_age Always - 1155
244 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 16
245 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 40
246 Unknown_Attribute 0x0000 100 100 000 Old_age Offline - 712096

SMART Error Log Version: 1
No Errors Logged

Так же я проанализировал почему он перестал вчера глючить и пол дня проработал, до этого был резкий пик активности дисков ( тестил производительность дисков)
погонял пару сотен гб данных туда сюда
вуаля диск очухался опять, LA - 0.2
ляпота и мистика

[Довольный Айтишникъ]

Переназначил бед блоки и теперь работает до следующего "конфуза"

[Владимир]

Довольный Жизнью, вы не правы - Reallocated_Event_Count 0

[Довольный Айтишникъ]

Владимир, тогда любопытно

[nApoBo3]

Вариантов довольно много, особенно учитывая что диск не серверный.
Я бы проверил сначала нагрузочным тестом диски в raid, потом по отдельности, попробовал бы другой физический порт. Посмотрел бы логи рэйда. Проверил версии прошивок у дисков, возможно посмотрел показания через какую-нибудь фирменную утилиту. Но все это без остановки сервера не проделать. Без остановки, по большому счету, только поменять диск и надеятся, что дело в нем.

[Виктор Таран]

nApoBo3,
Угу это selectel - то есть дисков в руках нет, 10 раз бы уже поменял и не парился.
и тестил диски чуть медленней временами но в общем и целом так же работает.
А диски без остановки ни один хостер не меняет ;( что вообще какбы странно но факт.

[Виктор Таран]

давайте даже так, ближе к вопросу.
адекватное ли поведение диска на скриншоте?

[Модератор]

Виктор Таран,
https://toster.ru/help/rules
3.9

[Виктор Таран]

Модератор, вы про что именно про gif ? а что тостер научился поддерживать анимацию в гифе?
если же про скриншот он в теме

[Модератор]

Виктор Таран,
gif

https://hsto.org/getpro/habr/post_images/65b/a48/3...

[Виктор Таран]

Вот после того как погонял данные на сервере и ошибка опять ушла

Answer 1

[Владимир]

Проверяйте SMART дисков, тк как данный график так называемой "утилизации" строится насколько я помню на основании заполнения очереди на чтение/запись, если диск тупит тк как занят релокейтом бэд блоков, то его очередь будет полная даже при минимальной нагрузке и поэтому утилизация будет отображаться высокая.

Comments

[Виктор Таран]

комент ниже

[Владимир]

Виктор Таран, Да - смарт выглядит отлично и ничего подозрительного нет. Тогда только хардварные вещи - менять провода от бекплейна к контроллеру/мат плате, если не поможет то наверно менять бекплейн.

Answer 2

[Alexey Dmitriev]

Прогоните тестирование скорости обоих дисков через hdparm.

Comments

[Виктор Таран]

все параметры системы в норме и эта гадость тоже