Где найти информацию по написанию парсера с аутентификацией на python?

Question

[Grepe]

Возможно, кто-то натыкался на источники объясняющие механизмы аутентификации парсера.
Крайне желательно с примерами на Python, но уже подойдут любые.
Не один из найденных в Гугле примеров не заработал.

Comments

[JunDevTest]

https://toster.ru/answer?answer_id=1248239

Answer 1

[Сергей Горностаев]

Где найти информацию по написанию парсера с аутентификацией на python?

В Google, он как раз для этого.

Не один из найденных в Гугле примеров не заработал.

Ну, значит и найденные в других местах с большой вероятностью не заработают. Попробуйте разобраться почему они не работают. А потом приходите с конкретной технической проблемой на Тостер.

Answer 2

[JunDevTest]

pipenv install requests-html
Requests-HTML
This library intends to make parsing HTML (e.g. scraping the web) as simple and intuitive as possible.
Вот вам библиотека, там же на странице, есть примеры использования. Удачи вам в парсинге веба.

Comments

[Grepe]

Спасибо! Почти то что нужно.
Но это парсинг открытых страниц. А в моем случае необходимо войти на сайт с логином/паролем.

[JunDevTest]

Grepe, Какой тип авторизации? Просто страничка с логином и паролем и кнопкой "Войти" или всплывающе стандартное окно браузера, которое нельзя закрыть и туда нужно вбить логин и пароль (basic auth)?

[FeNUMe]

Grepe, просто используйте в сессии авторизацию через requests, документация тут

[Grepe]

JunDevTest, страничка с логином и паролем и кнопкой "Войти"

[Grepe]

FeNUMe, Спасибо. На первый взгляд, не подходит. Но попробую поразбираться.

[FeNUMe]

Grepe, просто посмотрите какие данные(обычно логин/пасс, но бывает и логин/хеш_пасса) и на какой урл отправляются при нажатии "войти" и просто повторите этот запрос с помощью requests в начале сессии парсинга.

[JunDevTest]

Grepe, Откройте сорец страницы и вытащите оттуда get/post запрос и имена полей. Зайдите в консоль и выполните код document.location.href, скопируйте полученный результат и вставьте в комментарий ниже.

Answer 3

[Dimonchik]

Хром + F12 - вкладка Network

и Фидлер