Как сохранить сессию при парсинге?

Question

[Алексей]

Здравствуйте, такой вопрос, мне нужно запарсить закрытую часть сайта, что я делаю, я логинюсь в пайтоне потом получаю нужную страницу, и начинаю парсить, но так как я только начал, много доработок приходится вносить, и каждый раз авторизироваться тратиться много времени, поэтому возникает вопрос, как сохранить эту сессию, чтобы в другом модуле продолжить парсить, может посоветуете тему которую надо в гугле грызть, я просто сообразить не могу пока, либо же готовый пример видели на сайте, можете ссылку скинуть, заранее большое спасибо

Comments

[Талик]

Куки?)

[Павел Аксенов]

docs.python-requests.org/en/master

[Павел Аксенов]

А разве в selenium нельзя данные для полей задать, чтобы автоматически заносились?

[Алексей]

Павел Аксенов, да они автоматически заносятся, только вот у меня каждый раз стартует новое окно браузера с ним еще и geckdriver

[Евгений Палыч]

Можно использовать профили браузера. При новом запуске указываем нужный нам профиль.

Answer 1

[Hrabryi]

Используй сессии и авторизацию.

import requests

s = requests.Session()
values = {
    'email': "[e-mail]",
    'pass': "123"
    }
s.post('https://www.site.com/login', data=values) # атворизация, все куки сохраняются в сессии

 #для отправки запросов от авторизованного пользователя используй
response = s.get ('....')
 и т.д.