Парсинг сайта. В какую сторону копать?

Question

[Артем]

Приветствую. Изучаю web-scraping совсем недавно и не могу победить одну проблемку: есть сайт www.nowgoal.net . Я хочу получить список всех матчей с главной страницы. Каждый матч имеет свой id (на скрине видно "tr1_id"),
но я никак не могу извлечь его. Использую BeautifulSoup. Понимаю, что нужно как-то работать с таблицей "table_live", но как мне до нее "добраться"? Простой метод, типа:

from bs4 import BeautifulSoup
from urllib.request import urlopen
import re

def main():
    html = urlopen("http://www.nowgoal.net/")
    soup = BeautifulSoup(html, 'lxml')
    res = soup.find('table', id=re.compile("table_live"))

    print(res)

if __name__ == "__main__":
    main()

не работает (у меня). Направьте меня в нужную сторону, плиз ))

Comments

[nirvimel]

Скрипт на этом говносайте постоянно шлет довольно тяжелые запросы с частотой несколько штук в секунду - сильно грузит браузер (и память быстро подтекает). Ужасный баг! Куда только смотрят разрабы?!

[Артем]

nirvimel: да, я тоже заметил, что браузер подтормаживает, когда этот сайт открыт.

Answer 1

[nirvimel]

Это 100% AJAX контент. Не пытайтесь парсить HTML - это пустой шаблон.
Сам контент несут запросы:
www.nowgoal.net/data/panlu_en.js?1487540944000
www.nowgoal.net/data/bf_en2.js?1487540944000 - видимо, главный список матчей.
Формат: Javascript/JSONP (то есть НЕ валидный JSON).
А этот GET-параметр - метка времени в формате Javascript (миллисекунды с момента начала Эпохи).

P.S.: Я обычно с уважением отношусь к веб-разработчикам (хорошо_ли/плохо_ли вышло, но люди делали, старались), но, глядя на этот кусок... сайта, просто не могу удержаться: ТАКОГО ГОВНОКОДА Я НЕ ВИДЕЛ ДАВНО!

Comments

[Дмитрий]

Прошу пояснить, а как вы поняли про запросы несущие контент? Если смотреть в консоль хрома, там же ад из всего. Как "найти иголку в стоге сена"?

[nirvimel]

Дмитрий: Не такой уж и ад. Часто приходится иметь дело в сайтами намного адовее.

Метод1: Если фильтром отключить графику и стили, то среди оставшихся js-ов сразу бросаются в глаза те, которые с GET параметром. Параметр похож на отметку времени, следовательно адрес сгенерирован динамически. Зачем нужен динамический адрес статическому скрипту? Щелкаю по Response (FF developer tools) вижу JSON JSONP, т.е. данные, завернутые в обычный JS. Бинго!

Метод2: На самом деле с первого захода сразу бросаются в глаза запросы, которыми непрерывно бомбардируется сервер уже после окончания загрузки страницы. Сразу предпологаю, что это апдейты (но чтобы так часто - нонсенс!), заглядываю в них - так и есть!

Что касается других случаев, когда реально ад: Первым делом нужно пробовать фильтр (XHR), если не работает (как в этом случае, где данные в js), то последовательно исключаем статику, графику, стили. Далее можно попробовать сортировку по размеру ответа: AJAX-ы часто идут в самых мелких или самых крупных ответах; по времени: AJAX-ы часто идут в конце после загрузки всего остального; и (главный хак) по задержке запроса: динамика чаще всего отдается намного медленнее статики.

Answer 2

[Roman K]

Направьте меня в нужную сторону, плиз ))

Удали прямо сейчас beautifulsoup и возьми scrapy.

Comments

[Артем]

попробую.
но неужто суп настолько плох? вроде ж очень популярная библиотека...

[Roman K]

Артем: Очень плох. Если очень интересно, могу объяснить, почему.

[Артем]

Roman Kitaev: конечно интересно! мне как новичку полезно будет узнать... хотя бы вкратце.

[Roman K]

Артем:
1) У bs нет поиска по xpath.
2) xpath можно заменить цепочкой селекторов, но у bs нет поиска по цепочке селекторов
3) Метод .find возвращает элемент или None. Это самая глупая и неудобная концепция, под которую приходится строить свои костыли или кулхацкерские решения. Логично было бы кидать ошибку или отдавать элемент-пустышку вместо None (чтобы у него были методы .find и .find_all). Вкупе с пунктом №2 код превращается в неведомую лапшу из проверок на то, что element is not None.

[Артем]

Roman Kitaev: Благодарю! Всё чётко и по полочкам) Я весь день сегодня потратил на борьбу с этим None. В итоге сдался и написал сюда) Завтра буду курить scrapy.

[Roman Mindlin]

В книжке Learning scrapy во вступлении очень красочно описаны мучения человека, пользующегося чистым bs4 )))

[Дмитрий]

' но у bs нет поиска по цепочке селекторов', а как же select()? bs_obj.select('div.class1.class2')

[Roman K]

Дмитрий: И где тут цепочка?

Answer 3

[Дмитрий]

Полностью согласен с nirvimel - дикий говнокод. На твоем месте я бы не стал заморачиваться и вникать во все эти запросы - уйдет очень много времени, а тупо бы взял selenium или бы нашел другой сайт, который выдает те же самые данные.

Comments

[Артем]

благодарю за совет... буду учить и селениум тоже ) но сейчас и вправду лучше найти другой сайт )