Почему не парсится текст внутри tag? Что делать?

Question

[drymakers]

Никогда такого не встречал. Смотрю код через браузер он есть, когда вывожу код спарсенный вот именно этот текст пропадает
как выглядит в браузере:


Как выглядит спарсенный код

использую вот эти библиотеки:
requests
BeautifulSoup4

Answer 1

[Сергей Карбивничий]

Текст подставляется js.

Answer 2

[AntVlad]

Текст в тег подставляется на лету с помощью javascript. Вместо requests надо использовать selenium. Тогда получится, что ты открываешь страницу в браузере, и selenium предоставит тебе уже нормальный код страницы, который дальше можно разбирать или Супом или тем же селениумом.

Comments

[Сергей Карбивничий]

В 99 случаев можно обойтись без селениума. Данные подгружаются либо с другого адреса, либо они есть на странице в теге script.

[AntVlad]

Сергей Карбивничий, Сергей, а если с другого адреса подгружаются, то как их вытянуть?

[Сергей Карбивничий]

AntVlad, В браузере F12 - и смотрите каждый запрос(можно отсортировать xhr и fetch)

[Сергей Карбивничий]

AntVlad, Вот пример, как спарсить данные без рендера странички - "Жесткое выдирание json из html :)"

[AntVlad]

Сергей Карбивничий, Сергей, а если надо нажать на сайте кнопку "согласен", чтобы увидеть страницу, можно обойтись без selenium?

[Сергей Карбивничий]

AntVlad, Возможно. Без сайта можно гадать только на картах. Но если сайт защищен, например ,cloudflare - тогда даже szelenium не поможет.

[drymakers]

Спасибо большое! Немного разобрался с selenium помогло
через json не пробовал)