Почему парсер то работает то нет?

Question

[CteplerMarinovich]

Я написал код, который возвращает описание фильма с кинопоиск, по ссылке формата "kinopoisk.ru/"+id фильма
И он то работает то нет... Первый запуск вернул описание, второй выдал ошибку, мол у обьекта title нет атрибута text, через 40 минут я снова его запустил, и он снова вернул мне описание фильма... Как это работает???

from bs4 import BeautifulSoup
import requests


source = requests.get("https://www.kinopoisk.ru/film/361/")

soup = BeautifulSoup(source.text, "lxml")

title = soup.find("div", class_="styles_filmSynopsis__Cu2Oz")
print(title.text)

Comments

[CteplerMarinovich]

Борис Алексеев, сервер возвращает 200, в этом и проблема

[Дмитрий Кузнецов]

Возможно данные грузятся через JS и не успевают монтироваться в HTML, от сюда данные то есть, то их нет.

[CteplerMarinovich]

Дмитрий Кузнецов, можно конкретнее? Что мне гуглить чтобы найти решение проблемы?

[MaxKozlov]

CteplerMarinovich, Для начала вы можете записать в файл то, что находится в source, и сравнить между собой успешный и неуспешный запуск

[MaxKozlov]

CteplerMarinovich, Ну, судя по наличию "SmartCaptcha" в этом тексте, вас распознают как робота.
Увеличиваем таймауты, маскируемся всячески.

[CteplerMarinovich]

MaxKozlov, да, помогло, как сделать этот комментарий ответом? ?

[MaxKozlov]

CteplerMarinovich, Никак. Сейчас оформлю отдельно

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента.

Answer 1

[MaxKozlov]

Для начала вы можете записать в файл то, что находится в source, и сравнить между собой успешный и неуспешный запуск
...
Судя по наличию в неуспешном ответе "SmartCaptcha", вас распознают как робота.

Увеличиваем таймауты, маскируемся всячески.

Answer 2

[Vladislav]

Делайте проверку в цикле.
Попробуйте добавить timeout

source = requests.get("https://www.kinopoisk.ru/film/361/",  timeout=3)

https://docs.python-requests.org/en/latest/user/ad...

Comments

[CteplerMarinovich]

нет, не работает