Низкая скорость сборки 6 софтового рейда в linux

Question

[Пума Тайланд]

Centos 5.5
22 винчестера, сата2 seagate
Давно уже не собирал рейды в линуксе, но если мне память не изменяет то скорость обычно была 50-90 мегабайт в секунду.
Сейчас же 8-20 мегабайт в секунду(на двух разных машинах).

Создаю рейд с помощью команды
mdadm --create --verbose /dev/md0 --level=6 --raid-devices=22 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1 /dev/sdi1 /dev/sdj1 /dev/sdk1 /dev/sdl1 /dev/sdm1 /dev/sdn1 /dev/sdo1 /dev/sdp1 /dev/sdq1 /dev/sdr1 /dev/sds1 /dev/sdt1 /dev/sdu1 /dev/sdv1 /dev/sdw1

Скорость сборки
cat /proc/mdstat
Personalities: [raid6] [raid5] [raid4]
md0: active raid6 sdw1[21] sdv1[20] sdu1[19] sdt1[18] sds1[17] sdr1[16] sdq1[15] sdp1[14] sdo1[13] sdn1[12] sdm1[11] sdl1[10] sdk1[9] sdj1[8] sdi1[7] sdh1[6] sdg1[5] sdf1[4] sde1[3] sdd1[2] sdc1[1] sdb1[0]
39070288640 blocks level 6, 64k chunk, algorithm 2 [22/22] [UUUUUUUUUUUUUUUUUUUUUU]
[>....................] resync = 0.3% (5973976/1953514432) finish=3862.7min speed=8402K/sec

unused devices: Проц не загружен
top — 20:00:42 up 5:51, 0 users, load average: 1.35, 1.16, 0.77
Tasks: 106 total, 1 running, 105 sleeping, 0 stopped, 0 zombie
Cpu0: 0.0%us, 15.7%sy, 0.0%ni, 73.2%id, 0.0%wa, 0.0%hi, 11.0%si, 0.0%st
Cpu1: 0.0%us, 3.3%sy, 0.0%ni, 96.7%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu2: 0.0%us, 4.3%sy, 0.0%ni, 95.7%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3: 0.0%us, 1.0%sy, 0.0%ni, 99.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 2050688k total, 283396k used, 1767292k free, 7456k buffers
Swap: 3342328k total, 0k used, 3342328k free, 160288k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
5587 root 10 -5 0 0 0 S 19.0 0.0 2:10.15 md0_raid5
5588 root 10 -5 0 0 0 D 7.0 0.0 0:43.88 md0_resync
5633 root 15 0 12740 1084 804 R 0.7 0.1 0:00.02 top
1 root 15 0 10348 688 572 S 0.0 0.0 0:00.84 init
2 root RT -5 0 0 0 S 0.0 0.0 0:00.00 migration/0
3 root 34 19 0 0 0 S 0.0 0.0 0:00.06 ksoftirqd/0
4 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/0
5 root RT -5 0 0 0 S 0.0 0.0 0:00.00 migration/1
6 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/1
7 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/1
8 root RT -5 0 0 0 S 0.0 0.0 0:00.00 migration/2
9 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/2
10 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/2
11 root RT -5 0 0 0 S 0.0 0.0 0:00.00 migration/3
12 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/3
13 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/3
14 root 10 -5 0 0 0 S 0.0 0.0 0:00.02 events/0
15 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 events/1

Какие есть идеи?

Comments

[Пума Тайланд]

Всегда собираю рейды шестые.

Answer 1

[phasma]

> Давно уже не собирал рейды в линуксе, но если мне память не изменяет то скорость обычно была 50-90 мегабайт в секунду.

для RAID какого уровня? 6-ой будет жрать больше ресурсов в любом случае.

Вообще для 22х дисков лучше иметь хардверный рейд с BBU

Comments

[Пума Тайланд]

1)Каких ресурсов то он будет жрать больше?
2)Зачем? Хардварный рейд не показал себя быстрее, ограничен по совместимости, необоснованно дорог. Мне софтового хватает, а ббу заколебаешься менять.

[phasma]

1. процессор для расчет чексумм, объем дисков для тех чексумм.
2.
Стоят они максимум 25 тысяч, это дешевле чем 3 диска.
Совместимости с чем?
Даже 3Gb контроллеры(LSI, 3Ware) быстрее работают, чем софтовый рейд. 6Gb уж точно быстрее HBAшек, которые сейчас вроде бы не все поддерживают 6Gb.
BBU менять? Это обычный аккумулятор, у нас они работают по 5 лет без проблем.

[Пума Тайланд]

1)Вы на топе видите сколько ещё свободного проца? 5 процентов мне не жаль, как будто хардварный рейд чексуммы не на винтах хранит, тут полностью все одинаковое.
2)25 тысяч это 10 дисков по 2 ТБ.
3)Совместимости с дисками и операционными системами.
4)Не быстрее это раз, проведите сами тесты разнообразные и увидите сами, на сата3 есть давно хба, так же как и на сас6гб, да и зачем вам 6гигабит в секунду с одного винта? Общая скорость работы рейда при большом количестве чтений дай бог 2 гигабита в секунду, а тут и сата2 хватит, если умножить 3гигабитасата2*22винта=66гигабит в секунду, да скорее во внутреннюю шину упрется.
5)Ну так вот я не задумываюсь об их замене каждые пять лет, особенно забавно как вы меняете на 100 серверах их? А если их 500?

[phasma]

1. Видел.
3. 3Ware/LSI поддерживает все диски и без проблем работает на FreeBSD/Linux
5. Через 5 лет покупается новый сервер.

2/4 Вы хотите от дешевых десктопных дисков на 5200 оборотов на дешевой HBA скорости?

[Пума Тайланд]

3)это касается только 3ware линейки, lsi на свои родные контроллеры под фри не особо как то драйвера выпускает
www.lsi.com/storage_home/products_home/host_bus_adapters/sas_hbas/external/sas9200-16e/index.html
Ткнул в первый попавшийся контроллер.
Забавно если ты выбрал фрибсд то у тебя ограничение на одного вендора + ограничения на типы винтов, в целом если твоя маржа напрямую связана с объемами твоих хранилищ, то выгоднее обходиться без контроллеров с обычными сата дисками и всю оптимизацию стараться вести на уровне софта, там это проще и дешевле.
Да я хочу скорости 100 мегабайт в секунду с диска, потому что нет ни одной причины чтобы я её не получил, когда винт просто воткнут в хба и я его тестю я такую скорость получаю, почему здесь то не могу получить?
Мне хватит 2 гигабит с такого массива с головой, это в 33 раза меньше теоретической пропускной способности всех хба, а на деле составляет скорость двух винтов.

[Пума Тайланд]

Сегодня после перепрошивке удачно откинулось два контроллер 3ware
www.lsi.com/storage_home/products_home/internal_raid/megaraid_sas/entry_line/megaraid_sas_9240-8i/index.html
Прошивка прошла в штатном режиме и закончилась 100 компитом, при ребуте контроллеры не поднялись, остальные решили не перешивать.

Answer 2

[Владислав]

пробовали?
cat /proc/sys/dev/raid/speed_limit_m*
200000
1000
echo 10000 >/proc/sys/dev/raid/speed_limit_min

Comments

[Пума Тайланд]

cat /proc/sys/dev/raid/speed_limit_m*
200000
50000

Answer 3

[easy_john]

довольно жестокая конфигурация для софта.
я бы предложил вставить несколько аппаратных контроллеров, собрать на них рейды, который софтрейдом объединить в страйп/зеркало по желанию.

а так боюсь можно банально упереться в шину/irq и т.п.
что показывает iostat/vmstat?
статьи про тюнинг читали? размер кеша для рейд-страйпов, и т.п. оптимизировали?

Comments

[Пума Тайланд]

Проблема со скоростью сборки, потом скорость чтения записи будет как минимум 300-400 мегабайт в секунду.
Ну будут они так же медленно собираться на хардварных контроллерах, в чем тут решение то?

[Пума Тайланд]

iostat
Linux 2.6.18-194.el5 (localhost.localdomain) 04/15/2011

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 7.93 0.02 0.00 92.05

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 0.08 4.66 0.40 338755 28844
sda1 0.00 0.03 0.00 2134 4
sda2 0.00 0.05 0.00 3585 8
sda3 0.08 4.58 0.40 332852 28832
sdb 121.79 20775.99 178.06 1510612223 12946548
sdb1 121.76 20775.94 178.05 1510608508 12946280
sdc 121.03 20775.98 222.55 1510611389 16181297
sdc1 121.01 20775.94 222.54 1510608517 16181096
sdd 120.49 20775.98 177.69 1510611389 12919921
sdd1 120.47 20775.94 177.69 1510608517 12919720
sde 119.73 20775.98 222.99 1510611389 16213465
sde1 119.71 20775.94 222.99 1510608517 16213264
sdf 118.69 20775.98 223.85 1510611389 16276153
sdf1 118.67 20775.94 223.85 1510608517 16275952
sdg 159.39 20775.98 224.74 1510611389 16340521
sdg1 159.37 20775.94 224.73 1510608517 16340320
sdh 116.85 20775.98 223.88 1510611389 16278009
sdh1 116.83 20775.94 223.87 1510608517 16277808
sdi 116.14 20775.98 184.83 1510611389 13438593
sdi1 116.11 20775.94 184.82 1510608517 13438392
sdj 115.90 20775.98 224.28 1510611389 16307545
sdj1 115.88 20775.94 224.28 1510608517 16307344
sdk 115.21 20775.98 184.48 1510611389 13413441
sdk1 115.19 20775.94 184.48 1510608517 13413240
sdl 115.19 20775.98 224.17 1510611389 16299097
sdl1 115.17 20775.94 224.16 1510608517 16298896
sdm 116.27 20775.97 224.24 1510611133 16304457
sdm1 116.25 20775.93 224.24 1510608261 16304256
sdn 116.53 20775.98 223.96 1510611389 16284289
sdn1 116.51 20775.94 223.96 1510608517 16284088
sdo 116.89 20775.97 223.80 1510611133 16272113
sdo1 116.87 20775.94 223.79 1510608458 16271912
sdp 116.74 20775.97 223.70 1510611133 16265153
sdp1 116.72 20775.93 223.70 1510608261 16264952
sdq 104.61 20775.96 223.59 1510610365 16257425
sdq1 104.59 20775.92 223.59 1510607493 16257224
sdr 103.25 20775.96 222.77 1510610365 16197337
sdr1 103.23 20775.92 222.76 1510607493 16197136
sds 101.24 20775.96 223.03 1510609853 16216745
sds1 101.22 20775.92 223.03 1510606981 16216544
sdt [phone].86 1510610109 16276545
sdt[phone].85 1510607237 16276344
sdu 97.19 20775.96 224.12 1510610109 16295817
sdu1 97.17 20775.92 224.12 1510607237 16295616
sdv 136.71 20775.98 224.66 1510611389 16334769
sdv1 136.68 20775.94 224.66 1510608517 16334568
sdw 136.78 20775.98 223.76 1510611389 16269641
sdw1 136.76 20775.94 223.76 1510608517 16269440
dm-0 0.15 4.56 0.40 331746 28832
dm-1 0.00 0.01 0.00 880 0

vmstat
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 1766796 7784 160364 0 0 1 0 104 82 0 8 92 0 0

Answer 4

[easy_john]

кстати, диски какие? не с 4kb секторами? может банально на стык секторов попали?

Comments

[Пума Тайланд]

Нет не с 4 кб, эту проблему знаю и выравнивае делать умею.
диски 2тб от сигейта.

[Masterkey]

эм, а у вас диски случаем не посыпались (тьфу-тьфу), сигейты с некоторого времени не торт?

[Пума Тайланд]

Нет не посыпались, элементарные проблемы я и сам могу увидеть.

Answer 5

[AnViar]

-c, --chunk=
Specify chunk size of kibibytes. The default is 64.

Я бы с этим поигрался

Answer 6

[mihavxc]

Извиняюсь за оффтоп.
Правда что этот софтовый рейд стабильно работает только на Центе? А то меня убеждают, что и на убунту все будет стабильно.

Comments

[michs]

На федоре тоже вполне стабильно работает. За другие дистрибутивы не скажу.

[Пума Тайланд]

Везде работает одинаково ибо везде линукс.