opium
@opium
Просто люблю качественно работать

Низкая скорость сборки 6 софтового рейда в linux

Centos 5.5
22 винчестера, сата2 seagate
Давно уже не собирал рейды в линуксе, но если мне память не изменяет то скорость обычно была 50-90 мегабайт в секунду.
Сейчас же 8-20 мегабайт в секунду(на двух разных машинах).

Создаю рейд с помощью команды
mdadm --create --verbose /dev/md0 --level=6 --raid-devices=22 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1 /dev/sdi1 /dev/sdj1 /dev/sdk1 /dev/sdl1 /dev/sdm1 /dev/sdn1 /dev/sdo1 /dev/sdp1 /dev/sdq1 /dev/sdr1 /dev/sds1 /dev/sdt1 /dev/sdu1 /dev/sdv1 /dev/sdw1

Скорость сборки
cat /proc/mdstat
Personalities: [raid6] [raid5] [raid4]
md0: active raid6 sdw1[21] sdv1[20] sdu1[19] sdt1[18] sds1[17] sdr1[16] sdq1[15] sdp1[14] sdo1[13] sdn1[12] sdm1[11] sdl1[10] sdk1[9] sdj1[8] sdi1[7] sdh1[6] sdg1[5] sdf1[4] sde1[3] sdd1[2] sdc1[1] sdb1[0]
39070288640 blocks level 6, 64k chunk, algorithm 2 [22/22] [UUUUUUUUUUUUUUUUUUUUUU]
[>....................] resync = 0.3% (5973976/1953514432) finish=3862.7min speed=8402K/sec

unused devices: Проц не загружен
top — 20:00:42 up 5:51, 0 users, load average: 1.35, 1.16, 0.77
Tasks: 106 total, 1 running, 105 sleeping, 0 stopped, 0 zombie
Cpu0: 0.0%us, 15.7%sy, 0.0%ni, 73.2%id, 0.0%wa, 0.0%hi, 11.0%si, 0.0%st
Cpu1: 0.0%us, 3.3%sy, 0.0%ni, 96.7%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu2: 0.0%us, 4.3%sy, 0.0%ni, 95.7%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3: 0.0%us, 1.0%sy, 0.0%ni, 99.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 2050688k total, 283396k used, 1767292k free, 7456k buffers
Swap: 3342328k total, 0k used, 3342328k free, 160288k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
5587 root 10 -5 0 0 0 S 19.0 0.0 2:10.15 md0_raid5
5588 root 10 -5 0 0 0 D 7.0 0.0 0:43.88 md0_resync
5633 root 15 0 12740 1084 804 R 0.7 0.1 0:00.02 top
1 root 15 0 10348 688 572 S 0.0 0.0 0:00.84 init
2 root RT -5 0 0 0 S 0.0 0.0 0:00.00 migration/0
3 root 34 19 0 0 0 S 0.0 0.0 0:00.06 ksoftirqd/0
4 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/0
5 root RT -5 0 0 0 S 0.0 0.0 0:00.00 migration/1
6 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/1
7 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/1
8 root RT -5 0 0 0 S 0.0 0.0 0:00.00 migration/2
9 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/2
10 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/2
11 root RT -5 0 0 0 S 0.0 0.0 0:00.00 migration/3
12 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/3
13 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/3
14 root 10 -5 0 0 0 S 0.0 0.0 0:00.02 events/0
15 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 events/1

Какие есть идеи?
  • Вопрос задан
  • 2781 просмотр
Пригласить эксперта
Ответы на вопрос 6
@phasma
> Давно уже не собирал рейды в линуксе, но если мне память не изменяет то скорость обычно была 50-90 мегабайт в секунду.

для RAID какого уровня? 6-ой будет жрать больше ресурсов в любом случае.

Вообще для 22х дисков лучше иметь хардверный рейд с BBU
Ответ написан
click0
@click0
Системный & сетевой архитектор
пробовали?
cat /proc/sys/dev/raid/speed_limit_m*
200000
1000
echo 10000 >/proc/sys/dev/raid/speed_limit_min
Ответ написан
easy_john
@easy_john
довольно жестокая конфигурация для софта.
я бы предложил вставить несколько аппаратных контроллеров, собрать на них рейды, который софтрейдом объединить в страйп/зеркало по желанию.

а так боюсь можно банально упереться в шину/irq и т.п.
что показывает iostat/vmstat?
статьи про тюнинг читали? размер кеша для рейд-страйпов, и т.п. оптимизировали?
Ответ написан
easy_john
@easy_john
кстати, диски какие? не с 4kb секторами? может банально на стык секторов попали?
Ответ написан
AnViar
@AnViar
-c, --chunk=
Specify chunk size of kibibytes. The default is 64.

Я бы с этим поигрался
Ответ написан
mihavxc
@mihavxc
Извиняюсь за оффтоп.
Правда что этот софтовый рейд стабильно работает только на Центе? А то меня убеждают, что и на убунту все будет стабильно.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы