Requests Python 3, парсинг страницы. Почему не возвращает таблицу?

Question

[Илья]

Хочу распарсить myscore.ru через Python 3, но со странички с таблицей результатов игр (ex: www.myscore.ru/match/nu1Z5Wgq/#h2h;all) ответ выходит в "text/html; charset=UTF-8", без таблицы. И я незнаю как она вообще должна выглядеть... Необходимо получить таблицу или просто ответ в json или xml, чтобы я смог обработать содержание в дальнейшем в формате списка ['2 : 1, '0 : 2, '1 : 2'] это счета последних трех игр игрока Хильтцик Дж. и соответственно статусы этих игр в формате ['1', '1', '0'] (won, won, loss). Потом еще хочу сделать переход к каждой из этих игр и парсить там таблицы, для получения более точных данных о форме игроков, но это думаю сам разберусь.
Пока вопрос только в том, как получить корректные данные для обработки, ибо то что я сейчас получаю не несёт никакой статистической информации. Помогите!

Answer 1

[qlkvg]

Таблица рисуется не статически, а в результате ajax-запросов. Если не нужна высокая скорость, можно взять selenium и не париться - он отрендерит страницу, а дальше любым способом можно будет спарсить необходимые данные. Если время критично/ресурсов мало/хочется прокачать скилл - то надо смотреть в консоли разработчика во вкладке network, что вообще происходит со страницей при загрузке и как формируется таблица.

Comments

[Roman K]

Второй вариант более предпочтителен. С selenium уж больно много возни и он очень неповоротлив.

[qlkvg]

Второй вариант более джедайский, бесспорно. Но много возни с selenium - это заблуждение=)

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.PhantomJS()
driver.get("http://www.myscore.ru/match/nu1Z5Wgq/#h2h;all")
html = BeautifulSoup(driver.page_source)
print([x.text for x in html.find_all("span", {"class": "score"})])

[qlkvg]

Если что это не пример решения вышестоящей задачи(в выдачу куча мусора попала)

[Илья]

qlkvg: Насколько могу знать, selenium будет подгружать каждую страницу через браузер, это уж очень долго...

[qlkvg]

Достаточно долго, да. У меня на машине(xeon e3-1225, 8gb ram) скрипт из комментария выше выполняется за 2.5 секунды, из них 1 на запуск браузера. Зато никакой мороки. В целом, если есть время, то, конечно, лучше разобраться, как отрисовывается страница и парсить более низкоуровневыми либами.