Python, urllib, как получить данные из дебага?

Question

[Евгений Елизаров]

Пытаюсь залогиниться на сайт, что бы получить куки, код вот такой:

def login(login, password) :
	data = urllib.urlencode({'shop_user[login]': login, 'shop_user[pass]': password, 'shop_user[mem]': 'on', 'auth': '%E2%EE%E9%F2%E8+%ED%E0+%F1%E0%E9%F2'})
	headers = {"User-Agent" : "Mozilla/5.0", "Accept" : "application/x-www-form-urlencoded"}
	request = urllib2.Request(url, data, headers)
	httpHandler = urllib2.HTTPHandler()
	httpHandler.set_http_debuglevel(1)
	opener = urllib2.build_opener(httpHandler)
	urlHandle = opener.open(request)

Логин происходит, в дебаг моде показывает куки, которые мне собственно и нужны, вопрос — как мне их теперь выдернуть? Я так понимаю что сам выхлоп дебага ни к чему не «привязан». Можно ли его куда к переменной прировнять, что бы распарсить? Или какие есть варианты? Подскажите пожалуйста.
пс с кражей контента это никак не связано, если что.

Answer 1

[alternativshik]

request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)

print response.headers['Set-Cookie']

написал по памяти. Проверьте. :)

Comments

[Евгений Елизаров]

Дело в том, что сервер возвращает несколько кук, попробовал ваш код, он возвращает только одну из нескольких кук (в response.headers она всего одна)

Answer 2

[alternativshik]

так в set-cookie заголовке все куки в виде cookie1=value1&cookie2=value2

Comments

[Евгений Елизаров]

Да вот как то нет.
В дебаге:

header: Set-Cookie: PHPSESSID=ee22f98ad9f10d10285a8cb6178926de;
header: Set-Cookie: last_visit=2012-10-08+17%3A18%3A26;
header: Set-Cookie: user_country=ru;
header: Set-Cookie: forum_data[reg_key]=7d81c1ad6822fe9eb29c65c0f19bb2d6;

и ещё несколько, а в случае ваего кода только одна строка:

header: Set-Cookie: PHPSESSID=ee22f98ad9f10d10285a8cb6178926de;

[alternativshik]

а что в просто response.headers?

[Евгений Елизаров]

Server: nginx/1.2.1

Date: Mon, 08 Oct 2012 13:29:49 GMT

Content-Type: text/html; charset=WINDOWS-1251

Transfer-Encoding: chunked

Connection: close

X-Powered-By: PHP/5.3.5-1ubuntu7.2

Set-Cookie: user_country=ru; expires=Thu, 18-Oct-2012 13:29:49 GMT; path=/;

Set-Cookie: PHPSESSID=cfbb736ab97e1d63f705af88f115fd74; path=/;

Expires: Thu, 19 Nov 1981 08:52:00 GMT

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

Pragma: no-cache

[alternativshik]

for cookie in response.headers.get('Set-Cookie'):
print cookie

[Евгений Елизаров]

А почему он вдруг каждый символ на новой строке вывел? :)) Но всё-равно — он же видит только 2 куки, а в дебаге их 6 или 7 штук, и нужны в общем то все.

[JustAMan]

Ну как же, строка — она iterable, то есть по ней можно ходить в for, вот у вас каждый символ на одну строку и попал.

А вообще решение через… ээ… странное место, но тем не менее — можно заменить sys.stdout или sys.stderr, смотря куда там дебаг гадит, а потом прочитать оттуда :)
Если не хочется создавать файл — можно результат складировать в StringIO.StringIO()

Answer 3

[Вольдэмар Дулецкий]

рекомендую использовать PyCharm — там есть трассировака всех переменных

Comments

[alternativshik]

ну можно и pdb уже, если на то пошло, но, я так понимаю, человек новичок…

[Евгений Елизаров]

Да, совсем чайник, чуть больше 2-х недель с python`ом знаком :) И пишу в простом редакторе кода с подсветкой синтаксиса.

[Вольдэмар Дулецкий]

согласен с pdb — очень годная вещь, пока не было IDE, только ей и спасался

Answer 4

[alternativshik]

Тогда через cookielib www.codercaste.com/2009/11/28/how-to-use-the-urllib-python-library-to-fetch-url-data-and-more/

Comments

[Евгений Елизаров]

Спасибо, почитаю

Answer 5

[EXSlim]

если есть возможность, используйте лучше requests и его Session

Comments

[Евгений Елизаров]

Очень хотелось бы решить задачу средствами из коробки