Спарсить данные с сайта?

Question

[tofel]

Всем привет подскажите как и чем спарсить этот сайт.

import requests

url =  "https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C"

r = requests.get(url)

print(r.text)

К сожалению сайт парситься не полностью, и ссылки не появляются. Знаю что есть selenium но хотелось бы узнать есть ли еще способ чем можно спарсить ссылки на футбольные команды.

Answer 1

[tofel]

Видимо без selenium не обойтись

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
import time

options = Options()
options.headless = True

driver = webdriver.Firefox(options=options,executable_path=r"C:\geckodriver.exe")
driver.set_page_load_timeout (30)
driver.get('https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C')
time.sleep(3)
html = driver.page_source
print(html)

Comments

[tofel]

Нашел еще решение.

import requests_html
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C')


r.html.render(sleep=5)



print(r.html.html)

Answer 2

[Dimonchik]

смоотри код страницы

Answer 3

[FeNUMe]

В requests добавьте хедеры аналогичные тем что отправляет браузер, который получает результаты полностью.

Answer 4

[vlsnake]

там javascript, без selenium и движка (минимум phantomjs, оптимально chrome --headless) не получится спарсить

for FeNUMe:

# -*- coding: utf-8 -*-
import sys
if sys.hexversion < 0x03000000:
    from urllib import urlopen
    from urllib import URLopener
else:
    from urllib.request import urlopen
    from urllib.request import URLopener


useragent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"
URLopener.version = useragent

text = urlopen('https://mobile.888.ru/sport/search?text=%D0%9B%D0%B8%D0%B2%D0%B5%D1%80%D0%BF%D1%83%D0%BB%D1%8C')
print text.read()