Почему может происходить превышение тайм аута при парсинге (simple_html_dom)?

Question

[Руслан Сайфуллин]

В парсинге я новичок.
Ситуация требует использовать php. Использую php библиотеку simple_html_dom.
Подключена корректно, функции видны.

require_once 'simple_html_dom.php';
$html = file_get_html('http://www.kommersant.ru/');

Всего 2 строчки кода и уже тут проблемы. При переходе на страничку, она довольно долго грузится и в итоге происходит превышение по таймауту на выполнение скрипта и ошибка 500.

Я так понимаю dom дерево этого сайта слишком объемное и скрипт не успевает отработать в отведенное ему время.

Был ли у кого-нибудь опыт с этой библиотекой?
Как сделать, чтобы скрипт успевал отработать?

Comments

[Сергей Сергей]

увеличить время таймаута? и ограничение памяти.

[Максим Тимофеев]

Она работает великолепно. Какой у Вас таймаут стоит?

[Muhammad]

Используйте это: https://github.com/imangazaliev/didom

Answer 1

[Vitaliy Orlov]

Как ты и сказал, это таймаут на выполнение скрипта твоим сервером.

Попробуй запустить скрипт из командной строки:
# php parser.php

Второй вариант это увеличить время работы скриптов, но я бы не рекомендовал это делать. Парсеры лучше запускать из командной строки.

Кроме того, обрати внимание, что в этой библиотеке есть метод: $dom = str_get_html($html) (кажется так), соответственно, ты можешь вначале скачать страницу с помощью file_get_contents или Curl и потом уже работать именно с контентом. Это поможет разделить логику непосредственно на загрузку и парсинг контента, что в свою очередь поможет разобраться с каждой проблемой по отдельности.

Answer 2

[Руслан Сайфуллин]

проблема так и не решилась, скрипт всё равно долго думал, очень долго.
В итоге использовал парсер отсюда forum.php.su/topic.php?forum=35&topic=834#