Apache — отправлять логи по сети

Question

[vgrayster]

На сервере используется порядка 40 виртуальных машин, некоторых из которых живут довольно посещаемые сайты (20-50 тыс человек в день).

Сейчас i/o wait начинает становится проблемой, как один из путей уменьшеня нагрузки на винты отключил логи апачей, но через некоторое время стало понятно, что логи очень хорошая вещь и они мне нужны.

У кого-нить есть опыт эксплуатации записи логов в пайп и дальнейшей посылкой логов на другой сервер?

CustomLog "| nc -u localhost 514" combined


Как эта конструкция себя ведет? есть подводные камни?

Answer 1

[Андрей Буров]

Поднимите «сильный» хост с syslog и туда по tcpip отправляйте логи

Comments

[vgrayster]

Так я вроде тоже самое и написал в своем вопросе. Меня интерисует это кто-то в продакшене использует? какие подводные камни есть?

Answer 2

[zuborg]

1. для логирования по сети стоит использовать udp а не tcp, т.к. мелкий затык может сложить логирование вообще.
2. возможно, стоит рассмотреть вариант собирать логи таки локально, но не внутри каждого вдс, а в dom0, передавая их по сети (но не выпуская траф за пределы машины). Это поможет более эффективно кешировать запись логов средствами фс dom0 и снизить io.
3. значительная часть логов генерится мелкими запросами на картинки, их можно выборочно отключить, оставив важные логи на запросы к скриптам

Comments

[vgrayster]

1) Спасибо, в исходном вопросе я как раз использую UDP ( nc -u localhost 514 )

2) А какой в этом выйгрыш? по сети все равно передается, так лучше передавать на другую машину

3) картинки отдает nginx там логи оключены и не нужны вообще.

В теории у меня все замечательно, нужет ответ от людей которые что-то похожее используют в продакшене на более менее нагруженных сайтах.

[zuborg]

2) Выигрыш в том что это снижает дисковый io (немного нагружая проц трафиком на виртуальной сетевухе). Логи пишутся на диск в одном месте в одной фс, а не в куче разных вдс. Заодно их можно сжимать, а ещё использовать для логов отдельный диск.
3) В таком случае надо разобраться, логи ли генерят этот io. пару сот тысяч визитов в сутки это в среднем несколько запросов на скрипты в секунду, максимум несколько десятков, — это маленький поток логирования, он не должен создавать особых проблем.

В любом случае для ускорения io на запись рекомендую использовать хардварную raid карту с буффером на пару сот мег-гиг. Сам raid при этом конфигурить не обязательно, главное настроить кеширование записи на експортируемом юните.

Answer 3

[Пума Тайланд]

Самое простое это выключить логи для статического контента js, css, pic, video.
А так сислог по сети используют наверно все серьезные реализации в продакшене на виртуалках. Удобно смотреть все логи в одном месте, не кончается место от логов и так далее, летает хорошо и есть во всех дистрах линукса.

Answer 4

[mifa]

Видел такое не раз на крупных production системах. В принципе, так и должно быть (особенно когда логи ведут еще F5 и фаервол, и надо хранить полгода) но есть ньюанс — ддос может легко положить вам сетку.

Answer 5

[Sergey]

ну, во-первых, iowait — это не только диск, но и сеть. Перенеся логи с диска на сеть, сильно iowait не снизишь.
во-вторых, направлять можно в сислог сразу, апач это умеет, правда почему-то только для error_log.
в-третьих, купи SSD для логов.

Comments

[vgrayster]

и монтировать /var/log в каждую виртуалку?

[Sergey]

why not?

Answer 6

[chemistmail]

С трудом верится что диск просаживается из-за логов.
У меня порядка 1000 пользовательских запросов в минуту на одной из машин, логи пишутся на диск + с диска утилитой в реалтайме шлются по udp на другой хост, заметной нагрузки это не создает.
Думаю проблема с io где то в другом месте, посмотри что покажут
iostat -xm 1 — нагрузка на диски
iotop — нагрузка на диски по процессам.
Возможно картина проблемы станет более понятна.

Answer 7

[gigigi]

Можно немного оффтопа? Для чего на 1 сервере запущено 40 виртуальных машин с сайтами? о_О

Comments

[Sergey]

Хостинг, не?

[vgrayster]

Да ради бога, это все мои проекты, в той или иной мере. Для удобства управления, я каждый сайт(сервис) сажаю в свой opnenvz контейнер.

Можно сказать, что я хостер, но размещаю только свои проекты.

Answer 8

[gigigi]

Понятно, спасибо. Думал, что обычно подобное делается просто через fakeroot.

Answer 9

[dymdym]

papertrailapp.com/