Ограничить потребление ресурсов скриптом

Question

[La2ha]

Есть скрипт парсинга данных с других сайтов. Вся информация заносится в промежуточную таблицу.
По окончании парсинга берутся все новые записи из промежуточной таблицы >10000 записей, и циклом обрабатываются. И заносятся в окончательную таблицу.

(нагрузка на процессор)
И на этапе обработки этого большого количества записей возникает максимальная нагрузка на сервер, из за чего остальные сайты отдают 504 ошибку, и вообще сервер становится недееспособным на минут 20, пока не закончится обработка данных.
Надо как то ограничить потребление ресурсов, пусть оно выполняется дольше, но не ложит сервер.
В качестве решения придумал пока использовать usleep() в цикле, но как-то не доволен этим вариантом, может есть более правильное решение?

Comments

[Georg]

Вижу скрипт запускается в около 18 часов, а почему не в 3-4-5 часов ночью?

[La2ha]

Потому что сейчас идет разработка и тестирование. Когда был удобный момент запустить тогда и запустился. И запустился он часов в 10 утра, это конец его работы был в такое время, а точное время работы скрипта предсказать сложно. Ну и в любом случае это не дело чтоб даже ночью сервер лежал. А нагрузки от пользователей практически никакой нет, если в сообщении имелось ввиду что ночью ресурсов больше было доступно.

Answer 1

[Влад Животнев]

Если таблица в mysql — то вряд ли, сам скрипт в этом случае CPU не кушает.

Comments

[La2ha]

Да, таблица в mysql, получается что единственный выход это usleep? Т.к. запросов к базе данных идет раза в 4 больше чем самих записей на протяжении цикла.

[La2ha]

да, запустил локально и посмотрел какой процесс поедает CPU, и первой с большим отрывом была mysql, решил проблему с помощью usleep($time), т.к. для mysql низкий приоритет ограничивать ресурсы с помощью cpulimit или низкого приоритета не вариант.

Answer 2

[librarian]

Нормальных способов именно ограничить толком нет, разве что cpulimit. Но он будет делать ровно то же самое, что и usleep, просто не будет давать процессор скрипту сверх меры.

Comments

[Андрей Буров]

Можно еще с пониженным приоритетом запускать.

[Влад Животнев]

Есть cgroups, если что.
Но в данном случае он бесполезен.

Answer 3

[Степан]

Может я конечно не прав, но не пробовали запускать скрипт под наименьшим приоритетом через nice?

Comments

[La2ha]

Нет, я что то не подумал про приоритеты.

Answer 4

[Anton_from_Amber]

Разделите задачу на более элементарные блоки-этапы и порционно обрабатывайте.