@gyok

Как в python3 загрузить всю страницу сайта?

Необходимо загрузить всю страницу альбома фотографий из ВК. Сейчас делаю так : response = urllib.request.urlopen('url').read()
Но в таком случае вся страница не загружается, только первые 30-60 фотографий, потому что остальные фотографии подгружаются во время прокручивания страницы. Мне сказали что подгружает какой-то скрипт на javascript. Гуглил как его запустить питоном, нашел только какие-то способы с selenium. Можно ли это более простым способом? Не могу использовать photo. GetAlbumById из при Вк потому что захожу в него как сообщество
  • Вопрос задан
  • 615 просмотров
Решения вопроса 1
LazyTalent
@LazyTalent
Data Engineer, Freelancer
Открыть панель разработчика, посмотреть на какой адрес и какой запрос отправляется в момент подгрузки новых изображений, эмулировать запрос. Tutorial
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
fornit1917
@fornit1917
Открывайте отладчик в браузере, вкладку сеть - xhr, скрольте страницу и смотрите какие запросы уходят на сервер при этом: https://www.screencast.com/t/rZfK9NMRcz
Разбираетесь с этим запросами и просто воспроизводите их сами на питоне или на чем угодно вообще. Селениум тут не нужен, пушкой по воробьям.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
04 мая 2024, в 06:10
4000 руб./за проект
04 мая 2024, в 05:49
10000 руб./за проект
04 мая 2024, в 03:57
10000 руб./за проект