Почему очень медленно работает soft raid 1?

Question

[zar0ku1]

Здравствуйте,

есть новый сервер на платформе supermicro, есть два жестких диска Seagate ST2000NC001-1DY164
Из них собран средствами ubuntu 14.04.1 LTS софтовый рейд 1:

cat /proc/mdstat 
Personalities : [linear] [multipath] [raid1] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sdb1[1] sda1[0]
      1953382208 blocks super 1.2 [2/2] [UU]
      
unused devices: <none>

Скорость работы жесткого диска очень маленькая
hdparm выдает:

/dev/sda:
 Timing cached reads:   25510 MB in  1.99 seconds = 12815.80 MB/sec
 Timing buffered disk reads:  72 MB in  3.02 seconds =  23.84 MB/sec

/dev/sdb:
 Timing cached reads:   25962 MB in  1.99 seconds = 13047.11 MB/sec
 Timing buffered disk reads:  36 MB in  3.10 seconds =  11.60 MB/sec

/dev/md0:
 Timing cached reads:   25402 MB in  1.99 seconds = 12786.02 MB/sec
 Timing buffered disk reads: 118 MB in  3.00 seconds =  39.29 MB/sec

smart по жестким дискам очень странный:

smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-32-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   075   063   044    Pre-fail  Always       -       40726576
  3 Spin_Up_Time            0x0003   095   095   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       16
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   072   060   030    Pre-fail  Always       -       4315894096
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       217
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       16
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       0
189 High_Fly_Writes         0x003a   098   098   000    Old_age   Always       -       2
190 Airflow_Temperature_Cel 0x0022   068   056   045    Old_age   Always       -       32 (Min/Max 24/44)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       11
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       16
194 Temperature_Celsius     0x0022   032   044   000    Old_age   Always       -       32 (0 21 0 0 0)
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0

smartctl -A /dev/sdb
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-32-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   081   064   044    Pre-fail  Always       -       123587248
  3 Spin_Up_Time            0x0003   095   095   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       16
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   072   060   030    Pre-fail  Always       -       20461739
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       217
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       16
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       0
189 High_Fly_Writes         0x003a   099   099   000    Old_age   Always       -       1
190 Airflow_Temperature_Cel 0x0022   070   058   045    Old_age   Always       -       30 (Min/Max 25/42)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       11
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       16
194 Temperature_Celsius     0x0022   030   042   000    Old_age   Always       -       30 (0 21 0 0 0)
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0

Подскажите куда копать, в чем может быть проблема?

Answer 1

[Melkij]

Почему вам кажется странным смарт?

Как диски себя ведут вне рейда? На другой машине?
Софтрейд у вас работает замечательно. Успел прочитать даже больше, чем при попытке читать с дисков по-отдельности.
Надеюсь, разумеется, что ребилд массива уже закончен и vmstat в целом по серверу показывает полное отсутствие нагрузки.

Comments

[zar0ku1]

Ребилд массива закончен, нагрузка с этого сервера убрана и составляет по iotop 1/2мб

А скорость чтения с дисков вас не смущает? 11мб? 24мб?

Беру другой сервер, где стоит ubuntu 12.04 и тоже софтовый рейд 1:
/dev/sda1:
Timing cached reads: 13522 MB in 2.00 seconds = 6769.89 MB/sec
Timing buffered disk reads: 242 MB in 1.19 seconds = 203.73 MB/sec

[Melkij]

Потому и говорю, что с рейдом у вас всё в порядке. 39мб/с - это даже больше, чем 11+24мб/с.
А вот с дисками - далеко как не в порядке. Потому, повторюсь, проверяйте эти диски на другой машине, проверяйте другие диски на этой машине.

[zar0ku1]

@Melkij так мне кажется что что-то нетак с контроллером, либо я такой везунчик и попал на 2 бракованных диска одновременно.
Что меня смущает в смарте так это параметр Raw_Read_Error_Rate который уже так опустил для новых то дисков работающих меньше недели

[Melkij]

Raw_Read_Error_Rate - это сигейт, это нормально. Им характерны дикие значения этого параметра. www.ixbt.com/storage/hdd-smart-testing.shtml
Да, я тоже думаю на контроллер.