Как уменьшить нагрузку на дисковую подсистему в связке vsphere+openfiler(iscsi) RAID10?

Question

[tocha4]

Всем доброго времени суток!

Использую vshere 5.1. Крутится около 60 VM на одном железном сервере openfiler (iscsi). На нем собран RAID 10 из 6 дисков по 3 Тб. VM зарегистрированы на 6 esxi. Ну и соответственно openfiler примонтирован к каждому. Подключение по Гб'ой линии.
Проблема заключается в том, что постоянно загружено I/O.

2013-12-12 10:39:49 Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
2013-12-12 10:39:49 sda               0.00     1.50    0.00    0.80     0.00     9.21    23.00     0.26  320.25  82.00   6.57
2013-12-12 10:39:49 sda1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
2013-12-12 10:39:49 sda2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
2013-12-12 10:39:49 sda3              0.00     1.50    0.00    0.80     0.00     9.21    23.00     0.26  320.25  82.00   6.57
2013-12-12 10:39:49 sdb               7.61    15.82   29.83   73.87   559.66   723.02    24.74     1.83   17.68   4.45  46.13
2013-12-12 10:39:49 sdb1              7.61    15.82   29.83   73.87   559.66   723.02    24.74     1.83   17.68   4.45  46.13
2013-12-12 10:39:49 sdc               3.90    16.82   19.12   72.57   288.84   721.82    22.04     2.76   29.91   6.99  64.05
2013-12-12 10:39:49 sdc1              3.90    16.82   19.12   72.57   288.84   721.82    22.04     2.76   29.91   6.99  64.05
2013-12-12 10:39:49 sdd               7.51    15.12   30.53   84.68   448.20   750.55    20.81     1.40   13.39   3.74  43.05
2013-12-12 10:39:49 sdd1              7.51    15.12   30.53   84.68   448.20   750.55    20.81     1.40   13.39   3.74  43.05
2013-12-12 10:39:49 sde               3.60    15.12   20.72   83.98   370.22   746.85    21.34     1.68   16.01   4.20  44.00
2013-12-12 10:39:49 sde1              3.60    15.12   20.72   83.98   370.22   746.85    21.34     1.68   16.01   4.20  44.00
2013-12-12 10:39:49 sdf               5.91    16.42   29.13   79.38   485.09   731.63    22.43     1.19   10.85   3.56  38.63
2013-12-12 10:39:49 sdf1              5.91    16.42   29.13   79.38   485.09   731.63    22.43     1.19   10.85   3.56  38.63
2013-12-12 10:39:49 sdg               2.60    15.92   21.32   80.08   330.43   732.43    20.96     0.90    8.89   3.18  32.21
2013-12-12 10:39:49 sdg1              2.60    15.92   21.32   80.08   330.43   732.43    20.96     0.90    8.89   3.18  32.21
2013-12-12 10:39:49 sdh               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
2013-12-12 10:39:49 sdh1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
2013-12-12 10:39:49 md0               0.00     0.00  143.44  248.35  2485.99  2202.30    23.93     0.00    0.00   0.00   0.00
2013-12-12 10:39:49 dm-0              0.00     0.00  143.44  248.35  2485.99  2202.30    23.93    10.41   26.83   2.56 100.11
2013-12-12 10:39:49

Пробовал экспериментировать с локальным кэшем на esxi. Чтобы часть диска виртулок в процессе работы использовала локальные datastore. Экспериментировал с параметрами очереди на самом esxi. Но это не сильно помогло.
Цель - "поселить" 130 машин на один внешний датастор (openfiler).

На сколько это реально и что вы можете посоветовать по оптимизации загрузки СХД?
Заранее спасибо.

Answer 1

[Nomadic]

Если диски по 3 Тб значит оборотов у них не более 7200rpm - может просто не хватать производительности отдельно взятого винта тормозящего весь остальной массив.
Как вариант сделать еще одно хранилище на производительных дисках 10k-15k SAS и переместить туда VM генерящие больше всего iops, но дешево не будет...

Answer 2

[tocha4]

Делать дополнительные СХД - это само собой поможет. Увеличить скорость диска тоже понятно что нельзя. Вопрос в том как еще (кроме того что я уже сделал) можно настроить vsphere, чтобы именно с такими характеристиками СХД нагрузка уменьшилась. Может можно параметрами увеличить объем кэша или еще что-то из этой области. Вопрос именно в этом. Но тем не менее спасибо за ответы.

Comments

[Nomadic]

Нельзя увеличить скорость конкретного диска, но можно увеличить скорость всего массива в целом - быстрее RAID контроллер (причем иногда программный будет быстрее аппаратного), больше шпинделей, больше кеша и т.п.

Answer 3

[stalker2011]

try to change the LUN mapping from blockio to fileio