Каким образом лучше парсить данные с разных сайтов?

Question

[averlock]

Здраствуй all.

Суть вопроса в следующем. Есть несколько вебсайтов (разметка у каждого из них разная, API нет), с которых необходимо по запросу (обычный поисковый запрос) вытаскивать картинки и немного текстовой информациии выводить в виде таблицы для сравнения у себя. Каким образом это лучше реализовать? Возможно есть готовое решение, чтобы не изобретать велосипед.

Answer 1

[Дмитрий Энтелис]

Не рекомендую использовать phpQuery и иже с с ними.
В нескольких проектах парсили ~400 000 страниц ежедневно.
Пробовали Simplehtml и phpQuery. С одной стороны да, запросы пишутся легко и удобно.
С другой стороны среднее время обработки страницы весом 500kb было несколько секунд, основное время уходило на постройку DOM.
6 потоков нагружали мощный Xeon под 100% + жрало память адски.

Самописное решение через regexp обрабатывало ту же страницу за ~30ms, что бы загрузить процессор понадобилось ~40 потоков.

Нужен надежный парсер сайтов на php?

Comments

[xmoonlight]

попробуйте потоковый регэксп (немного написать кода нужно) - еще быстрее будет раз 10-15.

[Дмитрий Энтелис]

xmoonlight: А можно ссылочку? Первый раз слышу

[xmoonlight]

Дмитрий Энтелис: а если нет ссылки? На пальцах могу пояснить как я делал: считываете потоком посимвольно структуру (битая или нет - не важно) и на-лету строите дерево тэгов. когда закрываете тэг - проверяете нужен он вам или нет (если нужен - значение уже у вас! т.к. дерево уже построено до текущего момента - просто берете эту ветку) и т.д. до конца. Т.е. один прогон и все.

[Дмитрий Энтелис]

xmoonlight: идею понял. для каких то задач наверное да, но в целом не уверен что это будет быстрее какого то не сложного regexp просто по строке и навскидку очевидно более медленно.

[xmoonlight]

Дмитрий Энтелис: я тоже так думал! попробуйте просто написать и сравните. Когда пользуйтесь Regexp-ом, помните, что это многопроходная рекурсия. А поток - это как ледокол: льдина налево, льдина направо и так до конца.

[Дмитрий Энтелис]

xmoonlight: Ок, попробую обязательно)

Answer 2

[zugo]

Для парсинга с помощью PHP (у вас в тегах PHP) есть библиотека phpQuery (порт jQuery на PHP). Если не привязаны к PHP, то можно найти и решения получше.

Comments

[averlock]

Спасибо. Попробую nokogiri.

Answer 3

[Максим Гречушников]

если на пхп есть например синатра )

Answer 4

[index0h]

Многое зависит от того, как устроены страницы сайтов, которые вы собираетесь распарсить. Если куча логики завязана на JS с подгрузкой картинок - дешевле и быстрее делать с помощью PhantomJS / CasperJS.