Как спарсить информацию с нескольких страниц сразу php simple html dom?

Question

[artem20152000]

Привет! Проблема вот в чем, я использую php simple html dom parser для парсинга страниц. Но вот возникла проблема... Мне нужно парсить ссылки с одной страницы, а потом из этих ссылок парсить другое инфо. Как это сделать? А то не получается в цикле файлы лоадить...

Comments

[Muhammad]

https://github.com/imangazaliev/didom

Answer 1

[Twist]

1. Получаете все ссылки
2. Считаете количество ссылок
3. Поднимаете N-ное количество воркеров равное количеству ссылок
4. Каждому воркеру присваиваете определённую URL, с которой он должен работать
5. Контролируете процесс ограничивая вложенность и количество воркеров.

Использовать можно механизм очередей, gearman, workerkman (https://github.com/walkor/workerman)

Comments

[Валерий Рябошапко]

Мне кажется, поднимать количество воркеров, равное количеству ссылок — не очень хорошая задача. А если ссылок 10 000 штук? Лучше уж очередь и количество воркеров равное, допустим, числу ядер. Ну или удвоенному-утроенному числу ядер, всё равно будет ожидание получения данных.

[Twist]

Валерий Рябошапко: это просто идея, которую не стоит воспринимать всерьёз и конечно же она требует доработки :)

Answer 2

[Павел]

Единственное добавил бы ко всему вышесказанному - в некоторых случаях вместо php simple html dom лучше использовать регулярки, особенно, если нужно просто ссылки со страницы взять. Чем меньше циклов, тем лучше. И рекурсия тут тоже особо не нужна.

Answer 3

[maximilan]

Тоже в дополнение, мне в плане парсинга понравилась библиотека PHPQuery. Позволяет парсить страницы, предоставляя методы для работы похожие на методы jQuery. По мне получилась достаточно удобно.

Comments

[artem20152000]

php simple dom тоже самое)

[maximilan]

artem20152000: Так да. Мне просто этот вариант хорошо себя зарекомендовал. Так сказать спас там, где не справился simple dom. Тут конечно может дело в неправильной готовке, но все же)