Как сделать парсер сайта с авторизацией на python?

Question

[fleksss_pod_papicha]

Суть вот какая, хочу сделать парсер, пробую делать через BeautifulSoup и Requests, парсить обычные сайты без авторизации научился. Смотрел инфу на разных источниках начиная со StackOverflow и заканчивая столетними форумами, не смог разобраться. Мне нужно сделать авторизацию на сайте, перейти на нужную страницу и спарсить её, как это сделать?

Comments

[500rur]

Откройте с помощью F12 в Chrome инструменты разработчика, посмотрите какие запросы шлет браузер на сервер (вкладка network) и попытайтесь повторить то же самое с помощью сессии requests.
Либо Selenium.

Answer 1

[Евгений Палыч]

Для авторизации нужно повторить запросы, которые делает браузер.
Не потерять авторизацию поможет requests.Session()

Answer 2

[Yura Khlyan]

Узнать какая именно увторизация на сайте, и добавить ее в запросы.

Comments

[fleksss_pod_papicha]

можете подсказать как это узнать? и что значит добавить в запросы?

Answer 3

[Byxo Cyze]

Selenium

Comments

[fleksss_pod_papicha]

хм, я не думаю, что мне это поможет

[Byxo Cyze]

fleksss_pod_papicha, тогда вы должны узнать, какой запрос отвечает за авторизацию,
создать сессию, сначала авторизоваться (т.е. на какой-то url послать post-запрос с логином и паролем), потом парсить