Задать вопрос
webdevfan
@webdevfan
CEO & Co-Founder "Wacdis"

Как сделать сложный парсинг страницы?

Спасибо, что заглянули...

Стоит не простая (для меня) задача. Как получить код страницы, которая находится по URL, если:
  1. нужна эмуляция браузера, страница защищена каким-то алгоритмом, отличающим браузер от юзера
  2. нужно парсить html, который подгружается динамически после заполнения формы

Т.е., алгоритм следующий: эмуляция браузера, заполнение полей формы, ожидание ответа, парсинг данных.

Кто встречался с данной задачей хоть частично, дайте, пожалуйста, наводку или пример на чем писать, куда копать. Язык и платформа не важна. Спасибо.

p.s. Задача абстрактная... Поставил перед собой задачу написать парсер. Сложный (для меня, по крайней мере). Например, спарсить результаты поиска aviasales или получить данные после авторизации в ebay.
  • Вопрос задан
  • 1553 просмотра
Подписаться 2 Оценить Комментировать
Решение пользователя evnuh К ответам на вопрос (3)
evnuh
@evnuh
Поиск Гугл помог мне, впусти и ты его в свой дом
У вас в вашей веб студии ни одного программиста нет?

Наводка простая - смотрите инспектором на AJAX запрос, копируете его для cURL (правой кнопкой по самому запросу, скопировать как cURL) и повторяете, собственно, курлом. Если ответ такой же, значит вы уже решили задачу и осталось лишь распарсить данные.
Ответ написан