Как сделать сложный парсинг страницы?

Question

[Ярослав Алексеенко]

Спасибо, что заглянули...

Стоит не простая (для меня) задача. Как получить код страницы, которая находится по URL, если:

1. нужна эмуляция браузера, страница защищена каким-то алгоритмом, отличающим браузер от юзера
   
2. нужно парсить html, который подгружается динамически после заполнения формы
   

Т.е., алгоритм следующий: эмуляция браузера, заполнение полей формы, ожидание ответа, парсинг данных.

Кто встречался с данной задачей хоть частично, дайте, пожалуйста, наводку или пример на чем писать, куда копать. Язык и платформа не важна. Спасибо.

p.s. Задача абстрактная... Поставил перед собой задачу написать парсер. Сложный (для меня, по крайней мере). Например, спарсить результаты поиска aviasales или получить данные после авторизации в ebay.

Answer 1

[evnuh]

У вас в вашей веб студии ни одного программиста нет?

Наводка простая - смотрите инспектором на AJAX запрос, копируете его для cURL (правой кнопкой по самому запросу, скопировать как cURL) и повторяете, собственно, курлом. Если ответ такой же, значит вы уже решили задачу и осталось лишь распарсить данные.

Comments

[Ярослав Алексеенко]

Спасибо за ответ. Программист - я, повышаю уровень знаний в области, а задача абстрактная, слеплена на основе того, что было замечено в интернете.

Отправка формы возможна только с реферером, т.е. на сайте стоит проверка...

[D']

Ярослав Алексеенко: даю hint: реферер - это обычный заголовок, его можно подделать.

[Ярослав Алексеенко]

D' Normalization: Рецепт, пожалуйста. Спасибо

[D']

Ярослав Алексеенко: какой рецепт? Это обычный заголовок, который шлется так же, как и остальные заголовки.

[Ярослав Алексеенко]

Я имел ввиду пример? Мне нужно отправить 2 поля login и pass, post с проверкой реферера.

[ommunist]

Ярослав Алексеенко: curl -e для подделки реферрера, curl -d для POST в любую форму с любыми параметрами, curl -A имперсонация пользовательского броузера, чтобы два раза на одни грабли не становиттся, можно построить тест с параллельными запросами с разных адресов www.codediesel.com/php/parallel-curl-execution

[ommunist]

Ярослав Алексеенко: примеры stackoverflow.com/a/16614760 как раз про eBay

[Ярослав Алексеенко]

ommunist: Спасибо за ответ... Буду изучать!

[evnuh]

Ярослав Алексеенко: я полностью весь рецепт вам расписал, а вы даже не попробовали?

Answer 2

[Alexander Litvinenko]

Обычно сервер цепляет какие-то доп. данные, так и понимает это это не браузер.

1. Берешь курл, открывает страницу с формой, с набором заголовков от любого браузера(фаербагом глянь)
2. Запоминаешь все поля формы, включая пустые и все куки. В форму часто добавляют подпись а в заголовки сессию. Особо хитрые видят что форму не открывали, так значит и отправки быть не должно. Этот пункт все эти проблемы решает.
3. Смотрим на наличие доп. запросов, включая запросы на других протоколах, например ws. Некоторые сайты получают цифровые подписи через доп. запрос а не сразу. Если есть - добавляешь эти данные к предыдущим.
4. Отправляешь запрос с массивом собранных данных, получаешь результат. Еще не видел чтобы это хоть раз не сработало.

Comments

[Ярослав Алексеенко]

Спасибо за ответ, ваше решение знакомо, но попробую охарактеризовать задачу более детально... Есть eBay и логин/пароль от кабинета... нужно авторизироваться и получить данные по страницы поиска.

Пример абстрактный, как и задача.

[Alexander Litvinenko]

Ярослав Алексеенко: Остальные варианты, к примеру написание своего браузера или использование PhantomJS, делают тоже самое. Альтернатива это посадить китайца, чтобы быстро нажимал Crtl+C/Crtl+V или взломать eBay и подключиться к бд напрямую.

[Ярослав Алексеенко]

:) с китайцем вариант подхрдит, но все же, есть у вас решение, которое позволит пройти авторизацию и сделать что-то подобное?

[Alexander Litvinenko]

Ярослав Алексеенко: я когда-то делал подобное если это заказ, обойдется до 100 дол.

[Ярослав Алексеенко]

Alexander Litvinenko: Ели бы это был заказ, я бы его постил в другом месте...

[Alexander Litvinenko]

Ярослав Алексеенко: тогда гуглите, а то выходит это задача а не вопрос.

[Петр]

Есть куда более сложные случаи. К примеру сайт www.britishhorseracing.com делает запрос токена. На что получает ответ в виде javascript прошедшего обфускацию, который браузер выполняет, собирая данные делает заголовок для следующего запроса к только ему известному адресу. Который снова возращает javascript и уже данный js с ему только известным алгоритмом получает нужный json. Для осознания сути вот урл www.britishhorseracing.com/feeds/v1/token/request

[Ярослав Алексеенко]

Петр: Зачет! Интересно было бы посмотреть решение задачи...

[Ярослав Алексеенко]

Alexander Litvinenko: Вы же понимаете, что я не ищу готового, и совет "идите в гугл" не интересует, наверняка, никого.

[Alexander Litvinenko]

Ярослав Алексеенко: а точно также задача решается, это

3. Смотрим на наличие доп. запросов, включая запросы на других протоколах, например ws. Некоторые сайты получают цифровые подписи через доп. запрос а не сразу. Если есть - добавляешь эти данные к предыдущим.

Answer 3

[VZVZ]

Учитесь сниффить (Fiddler, Wireshark...), HTTP осваивайте, начинать советую с имитации не браузера, а голых HTTP-запросов как с решения геморройного (если их много или требуется качество), но зато универсального и быстродействующего (быстрее браузера), в дальнейшем осваиваем Phantom.js или Selenium, которые в уже умелых руках могут изменить пропорцию "геморрой / качество имитации" в лучшую сторону.

Comments

[Ярослав Алексеенко]

Спасибо, буду смотреть...
Возможно ли решение без установки PhantomJS и прочего, типичный хостинг пакет?

[VZVZ]

Ярослав Алексеенко: ну я ж сказал, в принципе все может делаться и голыми HTTP-запросами, и сервер ничего не будет знать о том, что там нет никакого браузера, а есть бот. Геморрою просто много, симитировать все заголовки и т.д.
А зачем это на хостинге-то? Типа в облаке хотите? Обычно боты на компах "бегают".

[Ярослав Алексеенко]

VZVZ: Нет, я ничего не хочу, задача чисто абстрактная, интересно было покопать в эту сторону...

[Ярослав Алексеенко]

Как продебажить, что браузер шлет серверу и что тот отвечает?

[VZVZ]

Ярослав Алексеенко: Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)мммУчитесь сниффить (Fiddler, Wireshark...)Учитесь сниффить (Fiddler, Wireshark...)