Задать вопрос
@fr0s1ee

При запауске скрипта пишет None, что делать?

Столкнулся с такой проблемой что при запуске скрипта пишет None. Сам код:
import requests
from bs4 import BeautifulSoup
from time import sleep



headers = {"User-Agent":
            "Mozilla/5.0 (Window; U; Windows NT 6.1; en-US; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 (.NET CLR 3.5.30829)"}

url = "https://www.twitch.tv/directory/game/Counter-Strike%3A%20Global%20Offensive"



response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.text, "lxml") 

data = soup.find("div", class_="Layout-sc-1xcs6mc-0")

print(data)
649553616b1d4233927941.png
  • Вопрос задан
  • 56 просмотров
Подписаться 1 Средний 3 комментария
Решения вопроса 1
Python_py
@Python_py
Смотри, bs4 умеет парсить далеко не все сайты, так как он, по идеи, сдирает каркас (html) структуру, не обращая внимания на те же js скрипты. Скорее с twitch проблема того же рода.
Для сайтов подобного типа сам использовал Selenium , который может дождаться выполнения js скриптов, а потом уже и снимать нужный сайт.
Но насколько я помню у некоторых сайтов есть защита от парсинга так что результат не гарантирован.
А вообще тема распространённая так что советовал бы ознакомиться
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы