Почему тормозит raid1?

Question

[Евгений Плотников]

Есть сервер (core-i7 4 core + ht, 16GB ram), на котором 2 hdd Toshiba (DT01ACA300; SATA 3.0, 6.0 Gb/s; 3TB) объеденены в программный raid1.
На сервере установлена ubuntu 14.10 x64 и mysql 5.5.
Делаю:

mysql> load data infile '/home/evgeny/file1.csv' into table testtable fields terminated by ';'

CSV весит около гигабайта, там около 20 млн строк.

В итоге диск загружается на 80-95%, а скорость записи всего 4000-5000 kB/s:

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               1.00     7.50    3.50   39.00   576.00  4988.00   261.84     1.22   28.80   78.86   24.31  21.22  90.20

Время добавления файла в таблицу = 20-30 минут.

При добавлении второго такого же файла в эту же таблицу время добавления уже около часа.

Вопрос: можно ли как то оптимизировать время добавления файла в таблицу и почему так тормозит рейд? SMART показывает что с дисками все нормально.

Comments

[1001001 111]

Евгений Evgenx
stackoverflow.com/questions/2463602/mysql-load-dat...
P.S. А почему не используете SSD? Они ведь на порядок выше по скорости.

[Евгений Плотников]

test test: Физического доступа к серверу нет, нет возможности установить ssd, сервер достался "как есть".

[Валентин]

Настройки mdadm крутили? stripe_cache_size, write intent bitmap, размер chunk и т.п.?

Answer 1

[Армянское Радио]

Что пишет
cat /proc/mdstat
Зеркало синхронно?

Comments

[Евгений Плотников]

$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md3 : active raid1 sdb4[1] sda4[0]
765348096 blocks super 1.2 [2/2] [UU]

md2 : active raid1 sdb3[1] sda3[0]
2147352384 blocks super 1.2 [2/2] [UU]

md1 : active raid1 sdb2[1] sda2[0]
523968 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdb1[1] sda1[0]
16768896 blocks super 1.2 [2/2] [UU]

[Армянское Радио]

Евгений Evgenx: ФС какая? Цель объединения дисков в зеркало "чтобы была резервная копия" или "чтобы было время при отказе диска заменить его, держа аптайм 100%"?

[Евгений Плотников]

на том разделе, куда пишу - ext4, цель рейда - "что бы было время на замену при отказе"

[Армянское Радио]

Евгений Evgenx: попробуйте пока без базы нагрузить RAID при помощи хотя бы dd. И да, какой контроллер? Может, там все диски подключены в режиме эмуляции PATA-133.
Учтите, что во время синхронизации дисков при отказе у вас будет полная посадка скорости и риск потерять оставшийся диск. Так что наличие RAID1 не означает, что у вас есть резервная копия.

[Евгений Плотников]

Армянское Радио: контроллер софтовый, не знаю как посмотреть режим эмуляции.
$ dd if=/dev/zero of=tempfile bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.535441 s, 2.0 GB/s

[Евгений Плотников]

Армянское Радио:
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 2.50 0.00 65.00 0.00 33280.00 1024.00 132.71 2136.12 0.00 2136.12 15.38 100.00

[Армянское Радио]

Евгений Evgenx: Два гигабайта в секунду? Лихо. Попробуйте эти советы

[Армянское Радио]

Евгений Evgenx: И в частности, gnome-disks

[Евгений Плотников]

Армянское Радио: $ dd if=/dev/zero of=tempfile bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 306.82 s, 35.0 MB/s
Вот реальная производительность HDD.
Думаю тормоза происходят из-за mysql, который копирует построчно файл.

[Армянское Радио]

Евгений Evgenx: 35 Мегов в секунду - да, похоже на правду, такой себе винт средней паршивости. При вставке никаких тяжелых триггеров или индексов нет? Какой из процессов есть CPU?

[Евгений Плотников]

Армянское Радио: в таблице 2 индекса. CPU есть в основном /usr/sbin/mysqld и то на 16-25% и то 1-2 ядра. Просадки по CPU явно нет. Оперативки он же ест около 800 мб из 16гб.

[Армянское Радио]

Евгений Evgenx: Ради эксперимента, можно создать tmpfs (ФС в оперативной памяти), загрузить в нее этот огромный файл и повторить.

[Армянское Радио]

Евгений Evgenx: Чем дело-то кончилось?

[Евгений Плотников]

Армянское Радио: Просадка производительности по hdd. Ни какие оптимизации бд не помогают. Можно сделать таблицу в оперативке, тогда все быстро, но не надежно. Я пока не такой гуру чтобы синхронизировать таблицу в оперативке с таблицей на hdd. Пока искал решение проблемы уже все данные загрузились и в принципе решение больше не нужно. Просто мой внутренний инженер подсказывает что все это можно ускорить.

Answer 2

[Hatifnatt]

Евгений Evgenx:

10737418240 bytes (11 GB) copied, 306.82 s, 35.0 MB/s

Очень низкая скорость линейной записи/чтения для современного диска, если конечно он не загружен другими операциями. Кроме того этот тест не всегда отражает быстродействие самих дисков, если у вас достаточно оперативной памяти, то все или часть данных попросту "осядут" в кеше.
Более точные данные можно получить используя dd подобным образом

dd if=/dev/zero of=tempfile bs=1M count=10240 conv=fdatasync

или

dd if=/dev/zero of=tempfile bs=1M count=10240 oflag=dsync

подробнее https://romanrm.net/dd-benchmark

Мои результаты для дисков WDC WD2000FYYZ-01UL1B1 в софт-рейде

cat /proc/mdstat
Personalities : [raid1]
md2 : active raid1 sda3[0] sdb3[1]
      1936077760 blocks super 1.2 [2/2] [UU]

dd if=/dev/zero of=tempfile bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 38.7747 s, 277 MB/s

dd if=/dev/zero of=tempfile bs=1M count=10240 conv=fdatasync
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 88.2362 s, 122 MB/s

dd if=/dev/zero of=tempfile bs=1M count=10240 oflag=dsync
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 105.152 s, 102 MB/s

Попробуйте отключить barriers если у вас достаточно надежная система и сбоев питания не ожидается.
mount -o remount,barrier=0 /my/mount/point
это может существенно увеличить быстродействие дискового ввода - вывода, например в моем случае отключение барьеров позволило уменьшить IOwait на гипервизоре с SSD дисками с 5-20% до 0-1%, вот еще пример teleogistic.net/2014/08/disable-ext4-barriers-for-...