Почему скрипт запущенным браузером выдает таймаут, а из консоли работает отлично?

Question

[Bjornie]

Написал тестовый парсер cURL + HtmlSimpleDomParser. Изначально тестировал вывод в браузере, в итоге после 80 скачанных страниц (с мизерным размером) сервер отдавал таймаут. Попробовал его увеличить

set_time_limit(0);
ini_set('MAX_EXECUTION_TIME', 86400);
ini_set('MAX_EXECUTION_TIME', -1);

стало работать лучше, но. Когда я запустил скрипт через консоль, то кажется, что нашел спасение, т.к. в консоли видна каждая итерация цикла, видно что происходит, а главное нет таймаутов.

Вопрос учебного характера: почему в консоли нет таймаута?

Comments

[roswell]

Например, по той простой причине, что пока вы управлялись с запуском скрипта в консоли, удалённый сервер посчитал, что лимиты на выгрузку можно снять. Кстати, в приведённом примере две последние строчки совершенно лишние.

Answer 1

[Сергей Протько]

потому что у web сервера (nginx/apache) есть свои таймауты. Для вашей задачи вооружитесь очередями (beanstalkd, gearman, etc).

Comments

[Bjornie]

таймаут как раз выходил на строку с curl_exec. Подскажите какая функция отвечает за очереди?
P.S. если браузер не нужен, не лучше ли запускать парсер из консоли? (мне понравилось :)

[Сергей Протько]

Bjornie: очереди надо подключать. Это не что-то что есть в php из коробки. Хотя можно взять какую-нибудь либку которая это делает на базе данных без доп штук.

рекомендую это: https://github.com/bernardphp/bernard