Как решить проблему с авторизацией при парсинге HTML в Python 3?

Question

[leonidlitvinoff]

Доброго всем. Подскажите словами, кодом или ссылками как реализовать авторизацию на сайте и дальнейший парсинг страниц на python.
Имеется: логин, пароль
Сайт: ruobr.ru

Answer 1

[Ivan Yakushenko]

Selenium или RoboBrowser.

Answer 2

[Сергей Горностаев]

Открыть DevTools браузера, воспользоваться формой логина, проанализировать, что происходит, повторить это в коде. Например, если бэкенд присылает сессионные куки, по которым потом проверяет авторизацию, то можно отправить запрос на вход с помощью библиотеки requests, получить куки и передавать их в следующих запросах.

Comments

[Ivan Yakushenko]

Если человек задает подобный вопрос, то ему легче просто сэмулировать браузер и взять всю нужную информацию, чем создавать сессию, проставлять все заголовки, отправлять post, сохранять куки и т.д. Более того, на странице овер много ajax и js, судя по всему после авторизации можно будет увидеть очень много, если не весь, динамического контента и тут уже requests можно будет выкидывать вместе со зря потраченным временем.