Почему в отчете netstat много соединений с 127.0.0.1?

Question

[Андрей Шульц]

На сервере периодически выедается вся память. Данная команда выдает подозрительно высокое число соединений от 127.0.0.1. Это нормально и искать в другом месте или же какой то сервис нагружает память?

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n

UPD. Возможно ли это потому, что php-fpm на этот порт смотрит, а не через сокет?

Answer 1

[Борис Сёмов]

Если у вас php-fpm на tcp висит, то конечно - на каждый запрос обрабатываемый будет соединение с 127.0.0.1 на 127.0.0.1, т.е. от веб сервера к php-fpm. И если у вас затык какой, то запросы встают в очередь, и количество одновременных соединений конечно растёт. Т.е. это, скорее всего, просто побочный эффект проблемы, а не она сама.

У php-fpm есть статистика, её можно посмотреть когда есть проблема, и понять, что происходит, какие запросы обрабатываются в данный момент. Логи веб сервера стоит поглядеть, нет-ли там наплыва запросов. Также, возможно, у вас слишком велик лимит на количество процессов php для ваших ресурсов, или не правильно распределена память в целом.

Comments

[Андрей Шульц]

Еще бы понять, куда вообще копать, чтобы можно было понять, в чем проблема. Логи я не знаю как смотреть, там в основном записи типа:

upstream timed out (110: Connection timed out) while reading response header from upstream
limiting requests, excess: 10.104 by zone "two"

В первом случае я так понимаю просто кто то не дождался очереди, во втором по правилу сбросилось. Как из этого понять, что память ест, я не знаю. top показывает кучу процессов php-fpm, может в этом дело может быть? Самое интересное, что сайт периодически показывает ошибку подключения к базе, хотя к базе там почти нет обращений, поскольку там кеширующий плагин стоит и к базе доступ только модераторы имеют, которых пару человек всего.

[Борис Сёмов]

Андрей Шульц, В первом не дождался ответа от php-fpm, т.е. скрипт работал больше минуты, если таймаут не изменён. Во втором слишком много запросов с адреса в единицу времени, и поэтому, довольно вероятно, что кто-то вас атакует, либо лимит слишком низкий.

Если процессов php-fpm много, и они съедают память, то их лимит надо значительно уменьшить. Максимальный RPS, в итоге, может даже больше стать, из-за снижения накладных расходов на переключение между ними, а система не будет вставать колом, упираясь в память. Это может или решить проблему, или увеличить стабильность работы.

Вообще, если вы не разбираетесь в вопросе, то вам будет лучше кого-то нанять - с такими проблемами совсем не просто разобраться по подсказкам.

[Андрей Шульц]

Борис Сёмов, сменил tcp на сокет (сразу пропали все подключения на локалхост) и сменил pm = static на pm = ondemand, в итоге памяти стало есть 17% только. Видимо проблема была в этом.

[Андрей Шульц]

И да, нанять кого то надо было, но владелец сайта считает, что я с этой задачей справляюсь и не хочет никого нанимать, хотя я ему это предлагал, поскольку я больше по разработке, а не по сисадминству. Но за год как то удалось из проекта, падающего при отключении кеша сразу превратиться в более менее стабильный, который держался месяц и без кеша и не одну DDOS атаку пережил.

[Борис Сёмов]

Андрей Шульц, Ещё надо ограничить всё же максимальное количество процессов php (max_children).

[Андрей Шульц]

Борис Сёмов, в данный момент у меня стоит pm.max_children = 10. 15 уже нагружать память начинает

[Андрей Шульц]

Судя по логам, не совсем удачно выбрал число. И для 10 и для 15 такое показывал

WARNING: [pool www] server reached max_children setting (10), consider raising it

Вообще есть где то мануал по настройкам исходя из конфигурации? В большинстве статей тупо пишут цифру никак не аргументируя. Например для данного значения вот что нашел:

pm.max_children = Total RAM dedicated to the web server / Max child process size

Было бы неплохо найти и для остальных значений.

[Борис Сёмов]

Андрей Шульц, Формула вполне нормальная, в принципе. Это максимум процессов, способных поместиться в свободной памяти. Часто, стоит часть памяти оставить, чтобы был кеш файловой системы, так что надо брать даже меньше лимит процессов, чем получается по ней.

WARNING: [pool www] server reached max_children setting (10), consider raising it

Это не всегда значит, что реально надо сделать больше обработчиков. Чаще, это значит, что не хватает производительности, и надо просто больше ресурсов. Упираться может в io или проц, тут уж надо мониторить чем-нибудь.

Answer 2

[Пума Тайланд]

А зачем вам нетстат если вы можете просмотреть топом кто съедает всю память

Comments

[Андрей Шульц]

Сайт любят ддосить, поэтому первым делом иду туда.