Почему apache2 грузит систему на 100% ??

Question

[Drno]

Доброго дня. Имеется арендованный сервак, i7 6700, 32гб оперативки, raid1 2шт HDD
ОС - Debian 11, php 7.4, optcache выключен\включен - ситуация не меняется

Развернут Nextcloud, клиентов - около 500(сихронятся папки по 5-10 гб), общий объем данных - 2Тб
Стоит обратный прокси на Nginx, за ним Апач доступный по локалхост, БД - Postgres 13

В какой то момент(я так понимаю когда обращается много клиентов) Апач начинает фигачить кучу процессов и забивать ЦП и оперативку.
Это происходит как с кеширование(Reddis), так и без него
С кеширование сервак моментально падает в " Internal Error", без кеша - тупит сильно, но работает

Что это за *уйня и как с ней бороться???
Какие конфиги надо дать для понимания? Подскажите, добавлю

скрин

spoiler

UPD - если правильно понял лог, ошибка или в БД, или в том что она тупит...

spoiler

[Wed Jun 29 20:10:34.197256 2022] [php7:error] [pid 920516] [client 127.0.0.1:48420] PHP Fatal error: Uncaught Doctrine\\DBAL\\Exception: Failed to connect to the database: An exception occurred in the driver: SQLSTATE[08006] [7] FATAL:
remaining connection slots are reserved for non-replication superuser connections in /var/www/html/nextcloud/lib/private/DB/Connection.php:87\nStack trace:\n#0 /var/www/html/nextcloud/3rdparty/doctrine/dbal/src/Connection.php(1519): OC
\\DB\\Connection->connect()\n#1 /var/www/html/nextcloud/3rdparty/doctrine/dbal/src/Connection.php(1041): Doctrine\\DBAL\\Connection->getWrappedConnection()\n#2 /var/www/html/nextcloud/lib/private/DB/Connection.php(236): Doctrine\\DBAL\\C
onnection->executeQuery()\n#3 /var/www/html/nextcloud/3rdparty/doctrine/dbal/src/Query/QueryBuilder.php(345): OC\\DB\\Connection->executeQuery()\n#4 /var/www/html/nextcloud/lib/private/DB/QueryBuilder/QueryBuilder.php(287): Doctrine\\DBA
L\\Query\\QueryBuilder->execute()\n#5 /var/www/html/nextcloud/lib/private/AppConfig.php(344): OC\\DB\\QueryBuilder\\QueryBuilder->execute()\n#6 /var/www/html/nextcloud/lib/private/AppConfig.php(109): OC\\ in /var/www/html/nextcloud/lib/p
rivate/DB/Connection.php on line 87

Comments

[Александр Фалалеев]

.htaccess надеюсь не используете ?

Если используете то все правила стоит перенести либо конфигурационные файлы nginx, либо в конфигурационные файлы apache и затем в apache отключить AllowOverride.

[Drno]

Александр Фалалеев, в апаче отключено. иначе ругается что папка с данными доступна из инета)

файл .htaccess не используется, по умолчанию от nextcloud
не вижу в нем смысла, когда есть полноценный сервер. мне проще на nginx\apache все настроить)

upd - проблема в коннектах к БД явно, и в коментах ниже гляньте, про воркеров. вдруг подскажете

[Александр Фалалеев]

Drno, Не думаю что смогу помочь (хотя у меня есть и nginx + apache + nextcloud, но им пользуются полтора землекопа так что таких проблем нет конечно) - но на всякий случай спрошу (вдруг мысля какая придёт):

А apache то в каком режиме работает ?

prefork, worker, event ?

mod_php, fastcgi, php-fpm ?

[Drno]

Александр Фалалеев, хороший вопрос про апач))
php-fpm точно не ставил. т.к. год назад еще какую то фигню словил, с ним всё падало... так и не осилил разобраться
работает в дефолтной установке, я не менял конфиг апача

судя по ситуации - щас опять всё ушло в 99% загрузки ЦП и память БД выжрала свою, 8гб, но всё отработало без падений...
думаю дать ей памяти побольше, хай работает, сервак позволяет...
видимо дефолтная установка постгресс не предполагала таких нагрузок))

включу попозже кеш, посмотрим еще что будет дальше... там видимо тоже придется увеличивать память\буферы

[Александр Фалалеев]

Drno, Если не меняли конфиг то и AllowOverride у Вас включён и в каждой папке при заходе apache файл .htaccess ищет несмотря на то что у Вас его нет !

Кстати доки nextcloud пишут что prefork+mod_php и .htaccess работающий это основной вариант. Но как по мне отнюдь не самый лучший. Имхо event+php-fpm и отключенный AllowOverride лучше особенно для highload.

На всякий случай посмотрите ещё раз конфиги apache :)

https://docs.nextcloud.com/server/20/admin_manual/...

[Drno]

Александр Фалалеев, хорошо, проверю. спасибо

Answer 1

[mayton2019]

Возможно эта кастомная библиотека https://github.com/doctrine/dbal как-то плохо себя ведет и создает ситуацию. Можно попробовать ее пропатчить или поискать похожий дефект среди ее багов. И еще посмотреть показатели здоровья Postgres в этот момент времени. Что с ней? Почему она перестала отдавать коннекты?

Comments

[Drno]

вот лог БД в момент этого..
типо много коннектов.

spoiler

2022-06-29 20:10:28.674 MSK [941403] nextcloud@nextclouddb FATAL: remaining connection slots are reserved for non-replication superuser connections
2022-06-29 20:10:28.681 MSK [941407] nextcloud@nextclouddb FATAL: sorry, too many clients already

я так понимаю надо увеличить количество коннектов к БД ? апач встает в очередь, т.к. не получает ответа от БД, и в итоге забивает весь ЦП ))

[mayton2019]

Сложно сказать. Надо читать доки на этот dbal и искать connection pool. Настройки количества коннектов

[Drno]

mayton2019, сделал по сайту https://pgtune.leopard.in.ua/
было 100 коннектов, сделал 1000, посмотрим че будет

spoiler

# DB Version: 13
# OS Type: linux
# DB Type: web
# Total Memory (RAM): 8 GB
# CPUs num: 8
# Data Storage: hdd

max_connections = 1000
shared_buffers = 2GB
effective_cache_size = 6GB
maintenance_work_mem = 512MB
checkpoint_completion_target = 0.9
wal_buffers = 16MB
default_statistics_target = 100
random_page_cost = 4
effective_io_concurrency = 2
work_mem = 2621kB
min_wal_size = 1GB
max_wal_size = 4GB
max_worker_processes = 8
max_parallel_workers_per_gather = 4
max_parallel_workers = 8
max_parallel_maintenance_workers = 4

еще смущает что в nginx worker - 768 (по умолчанию)
а в апаче - 100

хз что с этим делать, пока очистил логи будем смотреть

[Дмитрий]

А Настройки подключения к базе в dbal какие?
Я бы скорее сделал предположение что где нибудь не закрываются подключения.

[Drno]

Дмитрий, dbal где искать?
Если про конфиг некстклауда - то 127.0.0.1

[Дмитрий]

Drno, зависит от системы. Что и как у вас если проект на symfony, то конфиг где нибудь лежит файлом yaml в папке config. Если что то самописное- то где угодно

Answer 2

[Виктор Таран]

Здравствуй ддос
Блин ты хоть посмотри количество полключений

Comments

[Drno]

да, это конечно похоже на ДДОс, но аномально большого трафф на портах нету...
пока вопрос решился настройкой Постгресс, увеличением кол подключений и выдачи ему 8гб оперативки

Answer 3

[justhostRU]

>Развернут Nextcloud,
>Что это за *уйня и как с ней бороться???

для начала расскажите, как именно тюнинговали клауд.
на странице Nextcloud есть целый гайд для роста производительности, где описаны установка php-fpm и прочие вещи.

Comments

[Drno]

Домой вернусь - расскажу. Выходной)
Изначально никак не трогал дефолтное. Щас уже изменил конфиг пострес и кол воркеров апача