Как правильно парсить данные с ресурса myscore.ru?

Question

[Al Sm]

Здравствуйте. Подскажите пожалуйста, в чем может быть загвоздка. Я только начинаю изучать парсинг, и до этого пробовал парсить статичные страницы и забирать нужную инфу. Сейчас решил забирать информацию о некоторых спортивных матчах с сайта myscore.ru

Дело в том, что там удобно отбирать нужные матчи, поставив птичку в чекбокс и эти матчи появляются в отдельной вкладке. Но проблема в том, что при обычном парсинге, информация о матчах вообще отсутствует и парсится только шапка, футер и сайдбар.

$url2 = "http://www.myscore.com.ua/hockey/"; 
$curl2 = curl_init($url2); 
curl_setopt($curl2, CURLOPT_RETURNTRANSFER, 1); 

$page2 = curl_exec($curl2);

Подскажите пожалуйста, в каком направлении дальше нужно копать? Может там вообще защита стоит и спарсить что то не реально?

Спасибо большое всем откликнувшимся!

Answer 1

[Alexander Pushkarev]

Смотрите какие запросы отсылает мобильное приложение. Оно через REST 100% работает. Вам нужно только узнать стек запросов.

Делается это через обычный эмулятор и захватчик пакетов. После чего обращайтесь через api и парсите

Comments

[Al Sm]

То есть только через мобильное приложение можно отследить? Через браузер не получится?

[Alexander Pushkarev]

Александр Петров: через браузер скорей всего нет.

[Al Sm]

Спасибо.

[x67]

А мне ответите на вопрос? Грузить тостер не хочу. Есть сайт, который использует яндекс или гугл карты для отображения какой-то информации на них. Какими методами это возможно распарсить? Может библиотеки на питон знаете?

[Al Sm]

Alexander Pushkarev: посоветуйте пожалуйста эмулятор и захватчик пакетов, а то я с этим никогда не сталкивался.

[Alexander Pushkarev]

x67: Надо смотреть в какой форме он грузит их. Если со своего сервера, то можно забрать. А если с генератора карт, то нет.

Александр Петров: статья с хабра, а вообще ищите перехват пакетов андроид

[Al Sm]

Alexander Pushkarev: большое спасибо!

[Владислав Безвенюк]

Александр Смирнов, добрый день я начинаю пусть который вы начали год назад а именно парсинг сайта майскор , посоветуйте пожалуйста как это сделать или дайте инструкцию ,оочень нужна помощь почта [e-mail]

[Al Sm]

Владислав Безвенюк, привет. к сожалению так и не разобрался, а потом бросил это дело. После пробовал весьма успешно парсить через laravel crawler, там весьма удобно и гибко можно строить запросы под разные нужды.

[Andres Iniesta]

Александр Смирнов
Добрый день.
А вы хотя бы узнали как майскор берет данные? Захватили пакеты?

[Al Sm]

Andres Iniesta, Здравствуйте, уже точно не помню, но помню что пробовал перехватывать пакеты через эмулятор андройд приложений, запускав само приложение майскор под андройд.

Answer 2

[Danbka]

Информация о матчах отсутствует, потому что она загружается на страницу отдельным ajax-запросом, после загрузки шапки, футера и сайдабара.

Как их спарсить - вам придется разобраться самому. Может быть и никак.

Comments

[Al Sm]

Спасибо! Буду пробовать.