Как парсить постоянно подгружаемую страницу на питоне?

Question

[IDzone-x]

Так, я знаю что это можно сделать с помощью Selenium но как.
Допустим у нас есть страница одного сайта печать будет с мангой( :) ). И когда прокручиваешь в самый низ запускается код джс(я так думаю) и генерирует новые елементы и так по кругу. Как парсить подобную страницу ?.
(Если можно не пугайте:3).

Спасибо.

Answer 1

[Сергей Карбивничий]

F12, далее смотрите XHR запросы.

Comments

[IDzone-x]

Нашол но простите вы можете сами проверить етот сайт ?

[Сергей Карбивничий]

IDzone-x, Какой браузер?

[IDzone-x]

Сергей Карбивничий, я уже нашол XHR

[Сергей Карбивничий]

IDzone-x, Можете так:
1) открыть нужную страницу;
2) открыть "Инструменты разработчика"
3) очистить все запросы(чтобы было проще ориентироваться)
4) прокручиваете страницу вниз, и там появятся нужные запросы.

Обратите внимание, в некоторых случаях нужно передавать нужные заголовки, cookies, параметры(GET или POST). Ну вся эта информация есть в DevTools.

[IDzone-x]

Сергей Карбивничий, так я и зделал но появляется не Тото контент который мне нужен (а точнее img)
Давайте я Ван дам ссылку

[Сергей Карбивничий]

IDzone-x, Давайте. Это нужно было сделать с самого начала, что бы не гадать :)

[IDzone-x]

Сергей Карбивничий, вот:
https://mangalib.me/manga-list
Извините за такой контент:)

[IDzone-x]

IDzone-x,простите. ну как там возможно вовсе парсить?

[Сергей Карбивничий]

IDzone-x, Теоретически да, но скорее всего просто так не получится. Так как нужно передавать в запросе некий "CSRF token". Чтобы его передать, сначала нужно понять откуда он берется, и как формируется.

[IDzone-x]

Сергей Карбивничий, я так и думал что Виктор зделает так чтобы парсить сложно было :)
Ну я буду учиться Selenium-му .
И плюс можете посоветовать сайт для парсингу js яб хотел потренироваться:)

[Сергей Карбивничий]

IDzone-x, На чем собираетесь парсить - на js или python?

[IDzone-x]

Сергей Карбивничий, ой не правильно сформулировал :) парсинг jsна питоне естественно с помощью Selenium)

[Сергей Карбивничий]

IDzone-x, Я когда-то на этом тренировался - https://finance.i.ua/market/kiev/? Там есть ссылка "показать" номер телефона. По клике на неё, показывается полностью номер. С помощью Selenium там вообще проблем нет. А я парсил с помощью requests и BS4. Там прикол в том, что номер закодирован в Base64. И парсить номера можно чем угодно. Также можете попробовать Olx.ua и avito.ru. Там номера телефонов тоже показываются после клика. На авито после клика показывается номер телефона не текстом, а картинкой. Но в python такую картинку в текст перевести можно с помощью пары строк кода(и использованием сторонних библиотек).

[IDzone-x]

Сергей Карбивничий, спосибо:) я иду тренироваться в горы я вернусь и стану сильнее).

[IDzone-x]

Сергей Карбивничий, а как работать с PhantomJS в Selenium? извините что так задаю вопрос.