Как ускорить загрузку bind9 для 400000+ зон?

Question

[MadRat]

Загружается около 3х часов на :

Четырехядерник
6 ГБ ОЗУ
SATA зеркало
Debian 6.0.8

Answer 1

[Влад Животнев]

А сколько зоны на диске занимают? Можете есть смысл складывать в районе /dev/shm и запускаться оттуда?
Also, NSD действительно сильно резвее в этом плане (он, собственно, всё в память и всасывает).

Comments

[MadRat]

Зоны занимают порядка 100 мегабайт.

[MadRat]

"Можете есть смысл складывать в районе /dev/shm и запускаться оттуда? " - можно про это поподробнее ?

[Влад Животнев]

@MadRat /dev/shm - виртуальная "файловая система" в RAM. Сейчас она по дефолту во всех linux-дистрибутивах создаётся. Операции с файлами там занимают мизерное время. Можно попробовать копировать файлы зон в туда и уже после этого запускать bind, чтобы файлы он читал оттуда.

[MadRat]

попробовал просто скопировать файлы зон в /dev/shm, при запуске ничего не изменилось, я что-то не так делаю ?

[MadRat]

upd: хотя размер занятой ОЗУ увеличивается при копировании туда файлов.

[Влад Животнев]

@MadRat не, ну просто скопировать - само собой не поможет. bind-то с диска файлы всё равно брать будет. cp -r /etc/bind /dev/shm/bind; mv /etc/bind /etc/bind.orig; ln -s /dev/shm/bind /etc/bind. Как-то так для приличия сделать нужно. И init-скрипт под это написать, чтобы бинд не запускался до того, как файлы скопируются. И не забыть из памяти файлы переливать на диск (ребут, всё такое).

[MadRat]

То есть если я прописал загрузку файлов зон вместо /etc/bind/example.zone из /dev/shm/example.zone толку никакого ?
Ну скопировать рабочую папку и создать символические ссылки для загрузки из /dev/shm это понятно, а что значит "чтобы бинд не запускался до того, как файлы скопируются." Откуда и куда они скопируются, если они лежат в разделе /dev/shm и доступны по симлинкам с основной директории ?

[MadRat]

@inkvizitor68sl Спасибо, то что нужно, помогло сократить загрузку с 3х часов до 5-10 минут.

[Влад Животнев]

@MadRat симлинк на файловую систему из ramfs= чиитать файлы с диска, если что. Не забудьте какой-нибудь inotify повесить, чтобы изменения из shm на диск копировались =) Не за чт.

Answer 2

[Юрий Ярош]

Попробуйте NSD Он стоит на корневых серверах.
Также имеет смысл ускорить дисковую подсистему посредством Flashcache и RAID10, и/или записать базу на SSD RAID.

Comments

[MadRat]

Хотелось бы выжать всё из имеющегося железа.

[MadRat]

Спасибо, до NSD пока руки не дошли, его тоже попробуем.

Answer 3

[cjey]

Теоретически, если каждая зона хранится в отдельном файле, то много времени будет тратится на открытие/закрытие файла зоны. Можно попробовать объединить файлы в несколько больших, тогда загрузка должна ускориться.

Comments

[MadRat]

всё в 2х файлах

Answer 4

[Ilya Evseev]

Почитайте habrahabr.ru/company/ukrnames/blog/129711/
Как раз ваш случай.

Answer 5

[Dmitry Kireev]

Я бы поставил контроллер с хорошим кешированием (настоящий, железный), либо использовал Flashcache и RAID10, как посоветовал @d00mko.
Тажке я бы все-таки поточнее проследил dstat при загрузке зоны, тогда будет ясно что "прокачивать", но я думаю это IO.

Comments

[MadRat]

Вот небольшой кусок dstat
time | 1m 5m 15m | read writ| recv send|run blk new| used buff cach free| used free
01-12 23:07:18|0.69 0.34 0.28| 0 0 | 107B 655B|1.0 0 0| 721M 20.4M 285M 4960M| 0 1892M
01-12 23:07:21|0.71 0.35 0.28| 0 0 | 133B 474B|1.0 0 0| 721M 20.4M 285M 4960M| 0 1892M
01-12 23:07:24|0.71 0.35 0.28| 0 0 | 407B 426B|1.0 0 0| 721M 20.4M 285M 4959M| 0 1892M
01-12 23:07:27|0.73 0.36 0.28| 0 0 | 269B 426B|1.0 0 0| 721M 20.4M 285M 4959M| 0 1892M
01-12 23:07:30|0.73 0.36 0.28| 0 0 | 269B 426B|1.0 0 0| 722M 20.4M 285M 4958M| 0 1892M
01-12 23:07:33|0.76 0.37 0.29| 0 0 | 92B 426B|1.0 0 0| 722M 20.4M 285M 4958M| 0 1892M
01-12 23:07:36|0.77 0.38 0.29| 0 0 | 92B 426B|1.0 0 0| 723M 20.4M 285M 4958M| 0 1892M
01-12 23:07:39|0.77 0.38 0.29| 0 0 | 101B 426B|1.0 0 0| 723M 20.4M 285M 4957M| 0 1892M
01-12 23:07:42|0.79 0.39 0.29| 0 0 | 130B 440B|1.0 0 0| 724M 20.4M 285M 4957M| 0 1892M
01-12 23:07:45|0.79 0.39 0.29| 0 0 | 164B 474B|1.0 0 0| 724M 20.4M 285M 4957M| 0 1892M
01-12 23:07:48|0.81 0.40 0.30| 0 0 | 46B 426B|1.0 0 0| 724M 20.4M 285M 4956M| 0 1892M