Почему apache начинает использовать огромные количества RAM (SWAP) памяти?

Question

[Andrey]

Добрый вечер. Подскажите мне кто нибудь пожалуйста в чем может быть проблема
Через пол часа, час или четыре часа (по разному ) apache разрастается до нереальных размеров в плане оперативной памяти.
Сайт находится на стадии разработки и максимально одновременно на нем может сидеть только 2-4 человека.

Может кто знает как это исправить?

Comments

[Karmashkin]

- колличество процессов апача еще помониторьте
- ограничте колличество new соединений с одного ip
(возможно кто то балуется бенчмарками ab/siege)
- возможно просто говнокод и клиент плодит новые соединения

и да, что в логах?

[Andrey]

Karmashkin: если я вас верно понял то в логах боты гугла и яндекса
Выглядит это примерно так

"5.255.253.64 - - [21/Mar/2017:15:20:17 +0300] "GET /index.php?id_category=84&controller=category HTTP/1.0" 301 502 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:20:40 +0300] "GET /84-ip-kamera-s-obratnoj-svyazyu HTTP/1.0" 200 17468 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:21:03 +0300] "GET /index.php?id_category=3&controller=category&p=5 HTTP/1.0" 301 483 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
185.159.130.28 - - [21/Mar/2017:15:21:27 +0300] "GET /204-home_default/dh-hac-hdw2221rp-z-dp-kupolnaya-hdcvi-videokamera-1080p.jpg HTTP/1.1" 200 26720 "https://sistemy-bezopasnosti161.ru/3-kamery?p=5" "Serf/1.3.8 (mod_pagespeed/1.12.34.1-0)"
5.255.253.64 - - [21/Mar/2017:15:21:26 +0300] "GET /3-kamery?p=5 HTTP/1.0" 200 18975 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:21:49 +0300] "GET /index.php?id_category=96&controller=category HTTP/1.0" 301 4089 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:22:12 +0300] "GET /96-pult-upravleniya-povorotnymi-kamerami HTTP/1.0" 200 13939 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:22:35 +0300] "GET /index.php?id_product=436&controller=product HTTP/1.0" 301 527 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:22:58 +0300] "GET /katalog/436-blok-besperebojnogo-pitaniya-bbp-30-max.html HTTP/1.0" 200 17151 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:23:21 +0300] "GET /index.php?id_product=294&controller=product HTTP/1.0" 301 511 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:23:44 +0300] "GET /katalog/294-svn-cn20h300a-28mm-31mp.html HTTP/1.0" 200 17441 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:24:07 +0300] "GET /index.php?id_product=91&controller=product HTTP/1.0" 301 525 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:24:31 +0300] "GET /img/p/4/6/0/460-home_default.jpg HTTP/1.1" 200 5456 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:24:54 +0300] "GET /katalog/91-ip-videoregistrator-24-kan-evd-8224-11.html HTTP/1.0" 200 17941 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:25:17 +0300] "GET /index.php?id_product=445&controller=product HTTP/1.0" 301 511 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:25:40 +0300] "GET /katalog/445-blok-pitaniya-ts-5a-opn.html HTTP/1.0" 200 16719 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"
5.255.253.64 - - [21/Mar/2017:15:26:03 +0300] "GET /index.php?id_product=433&controller=product HTTP/1.0" 301 527 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)""

Answer 1

[Truth4oll]

По умолчанию использовать nginx

Comments

[Andrey]

Это конечно всё класно, но так получилось что в данной ситуации у меня проблема с апачем которую надо решить именно с ним

Answer 2

[Пума Тайланд]

Ну что вам мешает открыть логи апача и посмотреть кто заходит к вам на сайт

Comments

[Andrey]

Заходят боты поисковиков, но разве это должно крашить сайт и вызывать дикое юзание РАМ памяти?

[Пума Тайланд]

Andrey: то есть у вас говнокод который жрет на одного посетителя гиг памяти и вы удивляетесь этому говнокоду?

[Andrey]

Пума Тайланд: дело в том что писать сам я ничего не писал, я пользуюсь достаточно популярными и рабочими инструментами ubuntu 16.04 vestacp apache (phpfcgid) + nginx и на всём этом добре стоит prestashop
Этим пользуются и другие люди без подобных проблем. Там что вряд ли дело в говнокоде. При 2ух коннектах апач кушает 19мб

[Пума Тайланд]

Andrey: ну то есть в логах у вас 2 запроса, и два запущенных апача?

[Andrey]

Пума Тайланд: один апач, мод префорк с таким конфигом
# Global configuration
PidFile ${APACHE_PID_FILE}
Timeout 30
KeepAlive Off
MaxKeepAliveRequests 100
KeepAliveTimeout 10

StartServers 1
MinSpareServers 1
MaxSpareServers 3
MaxClients 10
MaxRequestsPerChild 100

В логах боты которые заходят на сайт парсят его и почему то количество подключений растёт постоянно линейно практически
апач разрастается через десять часов до 22гб и сайт вешается. Вешается он примерно уже через час

[Пума Тайланд]

Andrey: то есть в топе вы видите один процесс апача который сожрал 22 гига оперативы?

[Andrey]

Пума Тайланд: извиняюсь за задержку ответа
top показывает следущее

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
25205 mysql 20 0 1606824 196452 7516 S 0.0 9.4 1:36.39 mysqld
23964 root 20 0 516088 46288 38580 S 0.0 2.2 0:00.21 apache2
25691 admin 20 0 377436 30524 17008 S 0.0 1.5 0:00.42 php-cgi
24962 admin 20 0 376448 28700 16088 S 0.0 1.4 0:00.32 php-cgi
24972 admin 20 0 377156 24876 12068 S 0.0 1.2 0:00.08 php-cgi
24965 admin 20 0 377348 24740 11784 S 0.0 1.2 0:00.13 php-cgi
24861 admin 20 0 370552 23672 18696 S 0.0 1.1 0:00.03 php-cgi
24961 admin 20 0 370552 23672 18696 S 0.0 1.1 0:00.04 php-cgi
25690 admin 20 0 370552 23672 18696 S 0.0 1.1 0:00.03 php-cgi
24966 admin 20 0 374640 22748 13176 S 0.0 1.1 0:00.09 php-cgi
25697 admin 20 0 375016 22220 12364 S 0.0 1.1 0:00.11 php-cgi
25699 admin 20 0 374504 22128 11740 S 0.0 1.1 0:00.06 php-cgi
25698 admin 20 0 374904 21800 11676 S 0.0 1.0 0:00.11 php-cgi
25695 admin 20 0 374772 21232 11612 S 0.0 1.0 0:00.10 php-cgi
25693 admin 20 0 374768 20940 11584 S 0.0 1.0 0:00.08 php-cgi
24967 admin 20 0 374640 20892 11616 S 0.0 1.0 0:00.07 php-cgi
24968 admin 20 0 374640 20636 11600 S 0.0 1.0 0:00.07 php-cgi

[Пума Тайланд]

Andrey: ну апач у вас совсем не много жрет

[Andrey]

Пума Тайланд: все эти php-cgi в vestaCP у меня приравниваются к Apache. Судя по всему он это и запускает. Десятки этих процессов которые просто напросто скапливаются и остаются висеть. Накапливаются как снежный ком. Как решить это проблему понятия не имею.

[Пума Тайланд]

Andrey: ну наймите админа

Answer 3

[Егор Казанцев]

Потому что это апач и он под каждое соединение делает копию процесса.