Запуск более 20 копий PHP по CRON. Как предотвратить падение апача?

Question

[Алексей]

Сейчас в системе DEBIAN больше 20 пользователей, у каждого из них каждые 3 минуты запускается один и тот же скрипт, что полностью лишает желания жить апачу, и он благополучно падет, на что NGINX грустно сообщает о 500 ошибке.

Конечно, разум подсказывает о вероятности более элегантного решения, которое обязательно будет реализовано, но сейчас срочно нужно организовать бесперебойную работу текущей схемы.

Ошибки в логах апача:
[Tue Apr 21 15:50:00 2009] [emerg] (28)No space left on device: Couldn't create accept lock (/var/lock/apache2/accept.lock.19320) (5)

Вышел на семафоры:

#ipcs -s
------ Semaphore Arrays --------
key semid owner perms nsems
0x00000000 393216 www-data 600 1
0x00000000 425985 www-data 600 1
0x00000000 458754 www-data 600 1
0x00000000 491523 www-data 600 1
0x00000000 524292 www-data 600 1
0x00000000 557061 www-data 600 1
0x00000000 589830 www-data 600 1
0x00000000 622599 www-data 600 1
0x00000000 655368 www-data 600 1
0x00000000 688137 www-data 600 1
0x00000000 720906 www-data 600 1
0x00000000 753675 www-data 600 1
0x00000000 786444 www-data 600 1
0x00000000 819213 www-data 600 1
0x00000000 851982 www-data 600 1
0x00000000 884751 www-data 600 1
0x00000000 917520 www-data 600 1
0x00000000 950289 www-data 600 1

Удаление и перезагрузка помогает, но на время.

Буду рад, за любую помощь, пока мою задницу не порвали на куски.
Спасибо.

Answer 1

[Робот]

При таких раскладах никак, надо сократить количество работающих скриптов, можно время ограничить но они будут завершаться.
Решение: Все скрипты всех юзеров сгоняете в один скрипт и запускаете его без лимитов, например из консоли. Наслаждаетесь загрузкой CPU в 98% Если так не можете то пусть они свои задачи скидывают в единую базу а админ эту базу обработает своим скриптом, у вас ведь парсеры? ;)

Comments

[Алексей]

Конечно, все идет именно к решению запуска одного скрипта с прогоном по всем юзверям. Но, на данный момент нужен костыль. Может в конфигах увеличить лимит какой...

Обещаю, все сделаю как надо, но сейчас надо шифрануть косяк :)

P.S. Похоже, сбор почты... :)

[Робот]

Алексей: по-моему нет такого костыля, ну или там надо скрипты довольно сложно модифицировать, например он принимает пачку в 1000 каждые 3 минуты, сделать 330 раз в минуту попробовать, или встраивать лимит и делать так что скрипт сам свой лимит слушал и если время к концу подходит быстро записывал где он остановился и в следующий раз продолжал с этого места. Но я говорю, при росте количества скриптов время просто в геометрической прогрессии растёт затраченное, т.е. просто все работать по факту перестают. Нагрузку на CPU каждому юзеру можно ограничить тогда будут шевелится все, но понемногу...

[Макс]

Алексей: а из-за какого ресурса помирает апач? может поможет renice ?

[Робот]

Алексей: Макс кстати прав апач можно поднастроить так что бы он тормозил дико но не падал, правда сильно толку в этом нет если там все сайты на динамике...

[Алексей]

Макс: сейчас логи почитать не могу, я прав, если скажу, что ответ на ваш вопрос лежит в access.log апача?

[Робот]

Алексей: думаю там будет что-то типа out of memory или я не помню точно как у него ошибка называется когда оверхед памяти или соединений, конечно посмотрите что там

[Алексей]

Не Робот: Если не сложно, можете подсказать, почему если я запускаю php скрипт из консоли, вообще апач переживает?

[Робот]

Алексей: потому что php обычно запускается в режиме "Модель апача" т.е. mod_php а есть ещё как cgi вариант запуска

[Макс]

Алексей: хм, я бы начал с error.log. или помониторил бы систему с помощью top.

[Алексей]

Макс: Конечно, error.log, ошибся. Спасибо, буду мониторить

Answer 2

[Roman Hinex]

Зачем апач? Дергайте по CLI. Еще вопрос, что же делает такого скрипт, чего нельзя отдать Node.js например?

Comments

[Алексей]

Боюсь, что 100% причастие апача к сему процессу сказать не могу, и признаюсь, не знаю, почему вообще он падает. Запускаю ведь просто: /usr/bin/php /path/script.php

Простите, вы предлагаете node.js запилить? :)

[Roman Hinex]

Алексей: вы скажите что делает скрипт? может просто запустить NodeJS на фоне и одному процессу отдавать данные?

[Алексей]

Скрипты проверяют новые письма на почтовых серверах, в большинстве случаев писем нет, и нет речи о больших нагрузка на обработку и тд.
NodeJS упоминался в моей практике лишь однажды, это все, что я знаю о нем.

[Roman Hinex]

https://nodejs.org/api/net.html#net_class_net_server и www.commandlinefu.com/commands/view/3464/send-echo... пускать по крону

[Roman Hinex]

Алексей: если знакомы с JS то проблем не будет, на экземплах можно зашарить меньше чем за сутки.

[Алексей]

Святые угодники...

[Алексей]

Roman Hinex: Вещь...

Answer 3

[Алексей]

Каждый скрипт также коннектится к базе, может там что ломает апач? Может увеличить переменную какую в конфигах...

Запускаю скрипты: /usr/bin/php /path/script.php

Comments

[AlikDex]

дык апач тут не причем. Он при таком раскладе вообще не запускается. По крайней мере не должен.

[Алексей]

Мне обьяснили это следующим: "потому что php обычно запускается в режиме "Модуль апача" "

[Марк Розенталь]

Алексей: А что хоть за задача-то такая, которая требует 20 копий пхп запускать, да еще и с апачем?

[Алексей]

Марк Розенталь: буду вам крайне признателен, если вы подскажете, как запустить PHP без апача.

[Марк Розенталь]

Алексей: Я думаю можно обойтись без апача, заменив его nginx с fpm