Нужна литература, статьи или сайты о парсинге сайтов на PHP (да и в целом о парсинге)?

Здравствуйте!
Пишу диплом на тему "Разработка универсального парсера на языке PHP".
Ищу всевозможную литературу и статьи на эту тему, подскажите кто что знает?
  • Вопрос задан
  • 1624 просмотра
Пригласить эксперта
Ответы на вопрос 3
@Silm
В названии диплома все же не хватает слова "Разработка универсального парсера сайтов на языке PHP".
И слово "универсальный" думаю окажется лишним )

Литературу на эту тему вряд ли найдете, статьи разрознены и разного качества. Ищите пробуйте. Очень рекомендую попробовать написать несколько парсеров на других языках. Посмотрите как работает библиотека Grаb для Python. Ее принципы можно перенести для PHP.

Немного общей инфы по теме

В целом парсинг сайтов состоит из примерно следующих этапов:
  • Анализ сайта: определение структуры сайта и шаблона данных и, на этом этапе полезным бывает изучить файл роботс, xml карту сайта, поиск по сайту, выдачу поисковиков для сайта.
  • Подготовка выражений (xpath или css селекторв) для получения необходимых данных со страниц.
  • Написание и отладка парсера.


Сам парсер может состоять из следующих частей:
  • Краулер. Используя какие то правила проходит по страницам, собирает ссылки, может отправлять страницы сразу на парсинг (в очередь на парсинг) или просто выгружать и сохранять их целиком.
  • Парсеры. Блоки отвечающие за вытаскивание конкретных данных и их преобразование в нужный формат.
  • Вспомогательные сервисы, отвечают за разбор HTML DOM, кеширование, HTTP запросы, обход защиты от парсинга, сохранение данных в нужном формате и тп.


Для разбора HTML используются библиотеки (пример https://github.com/Imangazaliev/DiDOM ). Регулярками HTML не разбирают, но тоже, конечно применяют для разбора других данных.
Иногда требуется исполнять JS, например с помощью PhantomJS.
Для обхода капчи прибегают к услугам сервесов типа антигейт / антикапча.
Порой требуется авторизовываться или обходить защиту построенную на cookies.
Для многопоточного парсинга используют multicurl.

Вообще PHP не самый подходящий язык для парсинга сайтов. Все таки он предназначен для других целей. Python + Grab здесь будет куда удобнее и производительнее. Как, впрочем почти любой десктопный язык имеющий нужные библиотеки.
Ответ написан
@warnerbrowsers
Есть книга "PHP Web Scraping.Jacob Ward."Можно скачать тут it-ebooks.info/book/4297
Ответ написан
Комментировать
@Nc_Soft
Это утопия.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы