Задать вопрос

Какую библиотеку выбрать для веб-скраппинга?

Скажите, какую либу выбрать для простой работы с веб-сайтами и дальнейшим их парсингом.
Сам парсинг в данный момент осуществляется через XPath или Simple dom parser, важно лишь получение данных, авторизации и прочая эмуляция "реального" человека.
Нужный функционал: настройки заголовков, настройки куки (сохранение, ручная установка), отправка POST запросов (например, для авторизации) и т.п.. В общем, важна гибкость настроек. Раньше работал с неким "Ultimate Web Scraper Toolkit" но его функционал перестал устраивать, хочется чего-то более совершенного.
В данный момент остановился на "Guzzle", пока всем устраивает, хотя скорость работы не самая высокая. Тот же phantomjs работал быстрее, но он не подходит.
Можете посоветовать что-то на основе собственного опыта?
  • Вопрос задан
  • 474 просмотра
Подписаться 4 Оценить Комментировать
Решения вопроса 1
@evilmolen Автор вопроса
Отвечу на свой же старый вопрос
За эти годы перебрал некоторое количество библиотек, ничего лучше Symfony DomCrawler Component не нашел для себя.
Для меня это топ-1 по скорости работы, потреблению памяти и возможностям расширения.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
muhammad_97
@muhammad_97
PHP-разработчик
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы