Куда деваются куки?

Question

[sddvxd]

Доброго времени суток

Когда с браузера смотрю заголовки и нахожу в ответах сервера SetCookie, которые непонятно куда идут
В базе данных куки браузера я подобных не нахожу, прим.

Set-Cookie: remember_user_token=blablabla--blabla; domain=.site.com; path=/;expires=Fri, 10-Feb-2017 10:04:58 GMT; HttpOnly

и второй строкой тоже идет сет куки:

Set-Cookie: _site_session=blablabla--blabla; domain=site.com; path=/; HttpOnly

В таблице кук именно этот сайт имеет куки с названиями "__utma", "__utmz", "__utmb" и только они там и лежат. Мне объяснили, что это трекинг куки

А этих кук я не нахожу: "remember_user_token" и "_site_session"

Когда вытаскиваю куки с сессии, то получаю только "remember_user_token"

и еще, почему, когда объявляю сессию, в нее нельзя передать Заголовки?

import requests
from bs4 import BeautifulSoup

url = "http://site.com"

heads = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0)Gecko/20100101 Firefox/51.0', 'Host':'site.com'}

s = requests.Session()

response = s.get(url, headers =heads)
print(response.headers.values)

#{'User-Agent': 'python-requests/2.12.4', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

А вот так они передаются, почему - сам не знаю:

s = requests.Session()
s.headers = heads

response = s.get(url, headers = s.headers)
print(response.headers.values)

#{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0)Gecko/20100101 Firefox/51.0', 'Host': 'site.com'}

Answer 1

[Roman Mindlin]

Потому что вот это:
response = s.requests.get(url, headers =heads)

должно быть:
response = s.get(url, headers =heads)

Comments

[sddvxd]

да, я тут писал код, ошибся. вопрос актуален

[Roman Mindlin]

sddvxd: response.headers - это хидеры ответа. Свои заголовки смотрите сниффером типа Wireshark

[sddvxd]

Roman Mindlin: я свои заголовки смотрю плагином для мазилы

[Roman Mindlin]

sddvxd: а как мозилла видит, что вы отправляете серверу?

[sddvxd]

Roman Mindlin: с помощью плагина "Просмотр HTTP заголовков". с начала идет то, я отправляю, а потом ответ сервера

[Roman Mindlin]

Ну в общем вот - это стопроцентно работает:

sessions = [requests.Session() for _ in range(3)]

headers = [{"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding": "gzip, deflate",
"Accept-Language": "ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3",
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:49.0) Gecko/20100101 Firefox/49.0"},
{"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding": "gzip, deflate",
"Accept-Language": "en-US,ru;q=0.8,en-GB;q=0.5,en;q=0.3",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36"},
{"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding": "gzip, deflate",
"Accept-Language": "en-US,ru;q=0.8,zh-CN;q=0.5,en;q=0.3",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}]

req = sessions[rnd_num].get(STARTING_PAGE, headers=headers[rnd_num])

[sddvxd]

Roman Mindlin: спасибо за пример, сейчас попробую
а про httpOnly куки не слышали? сейчас прочитал, что на компьютере их найти нельзя, а без них, как я понял, авторизация невозможна на том сайте где я хочу

[Roman Mindlin]

sddvxd: request.Session с куками нормально работает. Что там сохранилось, можно смотреть в s.cookies.get_dict()
Можно попробовать Selenium, будет все как в браузере. Вот в этой книжке кое что есть dmkpress.com/catalog/computer/programming/python/9...

[sddvxd]

Roman Mindlin: на конкретном примере помочь можете? разобраться именно, в долгу не останусь

[Roman Mindlin]

sddvxd: моя почта в профиле указана

Answer 2

[shamanovski]

heads = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0)Gecko/20100101 Firefox/51.0', 'Host':'site.com'}

s = requests.Session()

response = s.get(url, headers =heads)
print(response.headers.values)

объект response содержит информацию об ответе на ваш запрос (куки, заголовки, тело и т.д.)
поэтому вам выводятся заголовки, переданные от сервера, которому вы послали запрос.
Чтобы просмотреть заголовки, отправляемые вами, используйте атрибут headers объекта Session()
Вам удается пройти авторизацию на сайте с помощью requests? Если да, то ко всем полученным кукам можно будет получить доступ через атрибут cookies для того же объекта Session()