Как решить проблему с настройкой RAID массива?

Question

[avp dnepr]

Установили мне на Хэтзнэре сервер. Для моего RAID контроллера. можно дополнительно заказать систему кэширования.
Стоит ли морочить голову с доукомплектацией выделенного сервера? В моём случае, когда если установлены SSD (для дата-центра) и настроена система мониторинга SMART.

Answer 1

[Melkij]

Если у вас нормальные SSD (а для hetzner это надо отдельно выяснять - могут откровенный мусор поставить под видом datacenter ssd) - то вам вообще не нужен RAID-контроллер.
Разве только вы умеете конкретно этот контроллер аккуратно настраивать под работу с SSD. Иначе вы упрётесь в производительность контроллера, а не в возможности накопителей. RAID контроллеры уже давно не успевают за хорошими SSD

Comments

[avp dnepr]

Melkij проверил, скорость на 10 raid более 1000 Мбайт/сек.
SSD следующие Micron 5100 MTFD.
Вопрос в том, что стоит ли затевать работу с батарейкой и активацией кэширования на контроллере?

[Melkij]

Ставили не так давно железку у хетцнера, шестёрка Micron_5100_MTFD как раз досталась. Под контроллером в два раза хуже были чем под софтовым mdadm + blk_mq. Модель контроллера только по хистори не вижу.
Латентность на записи у этих SSD конечно выше чем у хороших intel, но жить в том числе базе можно.

Ну и 1000мбайт/с чего именно? Меряете ли вы производительность сообразно планируемому workload?

[avp dnepr]

Melkij, Adaptec RAID 8405 - это моя модель контроллера.
Я так и не понял, имеет ли смысл затевать вопрос с батарейкой и включением тестирования на кнтроллере?
Чтоб таким образом снизить износ не своих SSD.
Более 1000 с учётом постоянной записи одним файлом.

[rPman]

вы замерили линейное чтение запись и что?
в большинстве задач требуются iops

[avp dnepr]

root@18 ~ # fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=fiotest --filename=fiotest --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75
fiotest: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
fiotest: Laying out IO file (1 file / 4096MiB)
Jobs: 1 (f=1): [m(1)][100.0%][r=64.4MiB/s,w=21.0MiB/s][r=16.5k,w=5383 IOPS][eta 00m:00s]
fiotest: (groupid=0, jobs=1): err= 0: pid=17974: Thu Nov 29 14:33:35 2018
   read: IOPS=36.6k, BW=143MiB/s (150MB/s)(3070MiB/21451msec)
   bw (  KiB/s): min=25056, max=182408, per=100.00%, avg=148632.00, stdev=44190.89, samples=42
   iops        : min= 6264, max=45604, avg=37158.00, stdev=11047.73, samples=42
  write: IOPS=12.2k, BW=47.8MiB/s (50.2MB/s)(1026MiB/21451msec)
   bw (  KiB/s): min= 8848, max=61160, per=100.00%, avg=49672.00, stdev=14928.38, samples=42
   iops        : min= 2212, max=15290, avg=12418.05, stdev=3732.10, samples=42
  cpu          : usr=7.90%, sys=52.86%, ctx=146934, majf=0, minf=8
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=785920,262656,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=143MiB/s (150MB/s), 143MiB/s-143MiB/s (150MB/s-150MB/s), io=3070MiB (3219MB), run=21451-21451msec
  WRITE: bw=47.8MiB/s (50.2MB/s), 47.8MiB/s-47.8MiB/s (50.2MB/s-50.2MB/s), io=1026MiB (1076MB), run=21451-21451msec

Disk stats (read/write):
  sdb: ios=784160/262110, merge=0/53, ticks=1184404/103744, in_queue=1287716, util=99.57%

[Дмитрий]

avp dnepr, хотя бы сотню гигабайт запишите/прочитайте

[avp dnepr]

root@18 ~ # fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=fiotest --filename=fiotest --bs=4k --iodepth=64 --size=100G --readwrite=randrw --rwmixread=75
fiotest: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
fiotest: Laying out IO file (1 file / 102400MiB)
Jobs: 1 (f=1): [m(1)][100.0%][r=227MiB/s,w=75.5MiB/s][r=58.2k,w=19.3k IOPS][eta 00m:00s]
fiotest: (groupid=0, jobs=1): err= 0: pid=32285: Thu Nov 29 15:24:33 2018
   read: IOPS=64.2k, BW=251MiB/s (263MB/s)(75.0GiB/306014msec)
   bw (  KiB/s): min=97152, max=272952, per=100.00%, avg=257002.15, stdev=10375.68, samples=612
   iops        : min=24288, max=68238, avg=64250.55, stdev=2593.90, samples=612
  write: IOPS=21.4k, BW=83.7MiB/s (87.7MB/s)(24.0GiB/306014msec)
   bw (  KiB/s): min=32456, max=91024, per=100.00%, avg=85662.60, stdev=3504.98, samples=612
   iops        : min= 8114, max=22756, avg=21415.65, stdev=876.24, samples=612
  cpu          : usr=11.24%, sys=83.58%, ctx=330080, majf=0, minf=6
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=19661094,6553306,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=251MiB/s (263MB/s), 251MiB/s-251MiB/s (263MB/s-263MB/s), io=75.0GiB (80.5GB), run=306014-306014msec
  WRITE: bw=83.7MiB/s (87.7MB/s), 83.7MiB/s-83.7MiB/s (87.7MB/s-87.7MB/s), io=24.0GiB (26.8GB), run=306014-306014msec

Disk stats (read/write):
  sdb: ios=19650673/6550498, merge=27/422, ticks=12620312/1282172, in_queue=13903356, util=99.92%

[avp dnepr]

Дмитрий, Ну и что скажете? Стоит ли подключать BBU? Ведь производительно то небольшая

[Дмитрий]

avp dnepr, нужно сравнивать разные сценарии (mdadm, контроллер, контроллер+кеш) Так же нужно смотреть вашу нагрузку и какую пользу принесут изменения конфигурации.

[avp dnepr]

Дмитрий, по сути если мне хватит производительности. То мне пока не стоит ставить BBU и активировать кэш. Я правильно Вас понял?

[Дмитрий]

avp dnepr, если вам хватит производительности, то да, не стоит. Но я бы ещё потестировал с mdadm и потом принимал решение.

Answer 2

[АртемЪ]

На вопрос невозможно ответить.
Вообще не ясно какая у вас задача и какие требования и что конкретно вам нужно.

Comments

[avp dnepr]

АртемЪ батарейка активирует систему кеширования на контроллере. Это позволяет не много уменьшать количество записи на SSD

[АртемЪ]

Это позволяет не много уменьшать количество записи на SSD

И что? Вам то какая от этого радость?

[avp dnepr]

АртемЪ хостер говорит, что будет улучшена производительность(чтение/запись + IOPS)

[АртемЪ]

avp dnepr, Не зная нагрузки на диск это абсолютно бесполезная информация.