Почему такая низкая скорость HP Smart Array P420/1GB?

Question

[kondrash055]

К контроллеру HP Smart Array P420/1GB подключены 4 ssd samsung 850pro 1gb. Диски собраны в raid-10. Эта полка используется как local-lvm хранилище proxmox 4.2. В виртуальную машину установлена windows server 2012r2. Измеряю скорость и получаю

-----------------------------------------------------------------------
CrystalDiskMark 5.2.1 x64 (C) 2007-2017 hiyohiyo
                           Crystal Dew World : http://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :   995.651 MB/s
  Sequential Write (Q= 32,T= 1) :   153.450 MB/s
  Random Read 4KiB (Q= 32,T= 1) :    41.382 MB/s [ 10103.0 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :    10.231 MB/s [  2497.8 IOPS]
         Sequential Read (T= 1) :   833.864 MB/s
        Sequential Write (T= 1) :    55.364 MB/s
   Random Read 4KiB (Q= 1,T= 1) :    16.172 MB/s [  3948.2 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :     1.088 MB/s [   265.6 IOPS]

  Test : 1024 MiB [C: 73.1% (23.1/31.7 GiB)] (x5)  [Interval=5 sec]
  Date : 2017/04/11 21:33:44
    OS : Windows Server 2012 R2 Server Standard (full installation) [6.3 Build 9600] (x64)

Диск подключен с параметром No cache.
Откуда такая низкая производительность?

P.S. подскажите, пожалуйста, как на debian замерить производительность диска в аналогичных попугаях.

Comments

[Wexter]

возможно массив не успел синхронизироваться

[kondrash055]

Wexter: точно успел. аптайм месяца 3 уже

[Wexter]

kondrash055: а вне массива все диски работают нормально? может какой диск глючит, от этого весь массив деградирует

[kondrash055]

Wexter: чуть ниже тесты на debian с хоста и гостя

Answer 1

[АртемЪ]

У вас в данной конфигурации TRIM не работает.
Тут надо или серверные диски, или over provisioning в достаточных размерах.

По данным теста явно видно, что у вас диск забит под завязку, и нет свободных ячеек для записи.
Отсюда сильные просадки по записи.

Comments

[kondrash055]

80% каждого диска размечено под raid. на сам raid записано максимум 20% от емкости массива

[АртемЪ]

kondrash055: Сколько записано на рэйд - не имеет значения, он будет заполнен на 100% через несколько часов или дней работы и будет оставаться таковым, при отсутствии трима.

А вот что размечено под рэйд 80% - это уже интересно.
Оставшаяся часть не размечена? Перед разметкой диск очистили?

Какой точно объем неразмеченной части, и какой средний объем записи в день?

[kondrash055]

АртемЪ: перед разметкой диски очищались. 200gb из каждого диска не размечено. объем записи порядка 100гб/день

[АртемЪ]

kondrash055: Странно.
Все указывает именно на просадку по записи.
Возможно не очистили диски, и в резерве занятые ячейки.

[Wolf KTL]

kondrash055, RAID cобирается программно ?

Answer 2

[Павел]

подскажите, пожалуйста, как на debian замерить производительность диска в аналогичных попугаях.

man dd
измеряйте не 1Гб а 10, запустите несколько тестов одновременно, результат ухудшится?
Вполне возможно хост система резервирует ресурсы I/O.

P.S.: Я правильно понял что это всё в пределах одной физической машины?

Comments

[kondrash055]

Да, все в пределах одной машины.
вот наилучший результат при запуске 3х тестов с теми же параметрами одновременно на гостевой системе win server 2012r2

Sequential Read (Q= 32,T= 1) :   658.346 MB/s
  Sequential Write (Q= 32,T= 1) :   123.977 MB/s
  Random Read 4KiB (Q= 32,T= 1) :    30.715 MB/s [  7498.8 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :     8.905 MB/s [  2174.1 IOPS]
         Sequential Read (T= 1) :    21.385 MB/s
        Sequential Write (T= 1) :    23.692 MB/s
   Random Read 4KiB (Q= 1,T= 1) :     0.031 MB/s [     7.6 IOPS]
  Random Write 4KiB (Q= 1,T= 1) :     0.254 MB/s [    62.0 IOPS]

Answer 3

[Sergey_Kharlanov]

Если в настройках рейд контроллера включить опцию Physical drive write cache state -> Enabled то скорость записи значительно вырастет.

Вот тут есть инструкция и замеры скорости с включенной и выключенной опцией.
https://servak.com.ua/blog/rukovodstva/kak-dobitsj...