Почему BeautifulSoup.find_all() возвращает не все элементы удовлетворяющие условию на странице?

Question

[Фемидис Кудес]

Решил написать программу которая скачивает все фото из альбома в Одноклассниках( я не нашёл утилит, которые обладали бы такой функцией), поэтому решил просто распарсить страницу альбома, получить ссылки на исходные файлы картинок и скачать. Но использование метода find_all возвращает только первые 4 фото, а остальные опускает(или не видит). Все фото удовлетворяют критерию поиска.

resp = req.get(Start_url)
soup = BeautifulSoup(resp.text, 'html.parser')
lst = soup.find_all('a', class_="photo-card_cnt")
print(len(lst), lst)

Также пробовал парсер lxml

Answer 1

[soremix]

Значит их нет в теле страницы. CTRL+U нажимайте и смотрите какие данные есть на странице

Comments

[Фемидис Кудес]

Как тогда я вижу их в браузере?

[Влад Григорьев]

Фемидис Кудес, скорее всего потому, что они подгружаются js, а не сразу приходят

[Фемидис Кудес]

Влад Григорьев, И как тогда их получить?

[soremix]

Фемидис Кудес, потому что браузер (возможно) зарендерил JS существующий / отправил дополнительные запросы на получение этих данных и отобразил все это. Ваш запрос через requests на сайт это просто один из десятков, если не сотен, которые отправляет браузер на одной странице. Открывайте f12 - network и смотрите какие элементы где есть

[Фемидис Кудес]

soremix, и что дальше?

[soremix]

Фемидис Кудес, смотрите в каком запросе нужные вам данные. повторяете его

[Фемидис Кудес]

soremix, спасибо, а если таких файлов несколько, в которых запросы делаются, это можно автоматизировать?

[soremix]

Фемидис Кудес, каких файлов? Запросов что ли?

[Фемидис Кудес]

soremix, ну это всё в Js скриптах

Answer 2

[alexbprofit]

Selenium