Время выполнения php-скрипта по крону?

Question

[ТёмнаяМатерия]

PHP скрипт работающий по крону делает curl-запросы.
Скрипт за раз должен обрабатывать 30 адресов но в случае длительного ожидания ответа у части из них (например 5 секунд) за минуту он не успеет обработать все 30. А через минуту cron запустит ещё одну копию скрипта уже со следующей пачкой в 30 штук.

Как решить такую ситуацию что бы скрипт не простаивал с одной стороны, но и что бы избежать накопления запущенных скриптов с другой?

Answer 1

[ThunderCat]

запускать в отдельных процессах, если они у вас идут прям без остановки каждую минуту, то будет работать параллельно. Но будет накапливаться процессы. Так что в итоге скорее всего забъется процессами если не будет успевать отрабатывать.

Comments

[ТёмнаяМатерия]

да, да этого хочу и избежать, а по ТЗ система должна каждую минуту опрашивать N адресов, пропуск каких-то из них нежелателен, не говоря уж о том, что бы она сама забилась...

[ThunderCat]

ТёмнаяМатерия: в задаче что стоит? каждую минуту обрабатывать запрос? Есть физические ограничения на скорость обработки скрипта, время ответа сервера, парсинг и т.д. Если не успевает и забивается - надо качать железо или раскидывать на N серверов и давать паузы больше.

[ТёмнаяМатерия]

ThunderCat: Да, думаю буду раскидывать пока на php остаюсь если

Answer 2

[Saboteur]

pidfile

стандартный *nix-way, это при запуске скрипта, проверять наличие pid-файла. Если файл есть - завершаем работу. Если файла нет - создаем его и начинаем обрабатывать задачу. После завершения работы - удаляем за собой pid-файл.

Таким образом другие скрипты увидят что файл есть, а значит уже один экземпляр скрипта уже запущен, и будут завершаться сразу.

P.S. Более тщательная проверка заключается в том, что в этот файл сохранять PID процесса, и следовательно при запуске скрипт проверяет и наличие файла, и существование процесса, который в файле указан. Позволяет избежать проблем, если какой-то скрипт был прерван до завершения и не успел удалить за собой pid-файл.

Comments

[ТёмнаяМатерия]

Да, читал о таком варианте, сложноватым он показался для меня

[Saboteur]

ТёмнаяМатерия: он очень простой, популярный и надежный.

Практически все службы в Linux пользуются именно этим вариантом (посмотрите вроде /var/run)
Для своих скриптов можно создавать файлик в /tmp

Создать файл, проверить его существование, удалить файл - все что нужно для простейшей реализации.

С pid проверкой - в созданный файл положить текущий PID, проверить список процессов, есть ли там указанный PID

в bash это делается в пару строк, в PHP думаю все также, и это настолько популярное решение, что нагуглить легко.

[Saboteur]

Сергей: stackoverflow.com/questions/4140552/how-to-detect-...

Answer 3

[yuras666]

Вот, есть очень хорошая и компактная
статья на эту тему.
С Pid-файлом, что писали выше - тоже годное решение.

Answer 4

[DuD]

Еще парочку вариантов подкину:
1) запускать скрипт в вечном цикле, а раз в минуту проверять что он жив.
В вечном цикле дергать 30 адресов в минуту, если уложились то спим, если нет то продолжаем впахивать.
2) Запускать не 1 скрипт, а несколько. Или запускать 1 срипт который породит несколько потомков. Таким образом при помощи параллелизма мы добиваемся увеличения допустимого времени на ответ. Т.е. если мы запустим 30 потомков то каждому сайту будет отведено чуть меньше минуты на ответ.