Зависает curl или почему иногда возвращаются пустые результаты?
Вообщем ситуация такая при парсинге одного сайта, возникла проблема следующего характера, иногда прилетают пустые ответы, редко, может из 20 - один. Парсинг идет через проксю мультикурлом(но всего 5 запросов). Первые мысли были что отваливается прокся, либо сайт как то временно банит отдачу. Переделал скрипт чтоб проверял проксю перед парсингом, проблема осталась. После чего реализовал цикл подмены проксей если возвращается пустой результат и в конце каждого цикла поставил слип 12 сек, на случай если сайт временно блокирует отдачу. В итоге скрипт работает по схеме: парсит страницу, если пришел пустой ответ ждет 12 сек далее подмена прокси, ее проверка, вторая попытка спарсить и так 5 раз если не удается. Проблема осталась! я вижу как прокси подменяются но ответ не приходит, но если по завершению скрипта его сразу же запустить то скрипт отработает и получит ответ. Прихожу к выводу что зависает курл именно в работающем скрипте, неважно сколько раз его пустить через цикл он все равно не сработает. В чем может быть проблема ?
если возвращается пустой результат и в конце каждого цикла поставил слип 12 сек
Вряд ли есть смысл в таком подходе при парсинге, только лишнее время тратится. Сомневаюсь, что кто-то будет блокировать страницу после запроса для всех IP, а вы же IP уже во второй попытке подменяете.
Ну а так в такой ситуации можно только посоветовать перейти на Guzzle и проверить как будет работать с ним.
Вероятно, сайт который парсиш, обрубает коннекты сверх лимита.
Я так понимаю у тебя одновременно по 5 запросов? Можно поробовать уменьшить это до 1-2?
Возможно стоит уменьшить частоту запросов. Обычно на нормальных серверах стоят правила для ipset, чтоб рубить наглых сканеров.
в чем проблема так и не понял, частоту одновременных запросов меньше ставить не могу так как и так не хватает времени распарсивать)). Решил проблему созданием очереди для запуска скрипта. Очередь смещается только при удачном завершении с первого раза, если нет то через минуту новый запуск, соответственно с новым курлом.
Средний