Как в PHP curl при парсинге обработать минутный разрыв соединения?

Question

[oe24y]

Есть 100 000 URL-адресов.
Каждая из страниц парсится и из ее контента извлекается содержимое.
Но иногда пропадает интернет и все ломается.
Как обработать такое?
(парсинг ведется на Simple HTML DOM + Curl + Mysql)

Answer 1

[АртемЪ]

Но иногда пропадает интернет и все ломается.
Как обработать такое?

Перед выполнением записывать какой запрос выполняете.
Если все сломалось запускаем со следующего, текущий в конец очереди, сообщение в лог.

Comments

[oe24y]

@Jump
А как в коде обработать, что curl пытается запросить страницу, а соединения временно нет?
timeout на большое количество секунд не помогает.

[АртемЪ]

oe24y, Ошибка - в лог, переход к следующему, проблемную страницу в конец списка.

[oe24y]

АртемЪ, как в коде словить ошибку отсутствия соедниения?)