Как авторизоваться на сайте с защитой от CSRF?

Question

[Владимир Гавр]

есть необходимось сделать парсинг сайта, вся ниформация на нем доступна только после авторизации, с авторизацией возникают проблемы.
сайт вероятнее всего на django, при отправке пост запроса на сервер уходит логин, пароль, флаг "запомни меня" и csrf токены(один в куках, другой из тела страницы) проблема в том что на все мои потуги возвращается 500
пример кода:

import requests,re

session = requests.Session()
r1 = requests.get('https://report.xxx.ru/user/security/login')
csrftoken = re.findall(r"[^\"\>\{\}\\]{86}==", r1.text) #вычленяем csrftoken из тела страницы
print(r1.cookies)

data={'login-form[username]': 'login', 'login-form[password]': 'password', 'login-form[rememberMe]': '0', '_csrf': csrftoken[1]}

r2 = session.post("https://report.xxx.ru/user/security/login", params=data)
print(data)
print(r2.status_code)
print(r2.text)

r = session.get('https://report.xxx.ru/report/report/view?id=1')

может кто подсказать с чем связанна данная проблема, или как ее продиагностировать?
upd: искомый результат это 302 код при успешной авторизации

Comments

[AWEme]

500 код ошибки говорит об ошибке сервера, разве нет?

[Stanislav Pugachev]

GhostGavr,

[Владимир Гавр]

Да, но...
при авторизации через браузер все проходит ОК
при попытке ручного формирования запроса через advanced rest client получаю ту же 500
в процессе этого обратил внимание что csrf кука

5f57b7a6259bfe6d012a2fe4c9461260df38923e0f04735bfcc85cb9c3ff1cd7a%3A2%3A%7Bi%3A0%3Bs%3A5%3A%22_csrf%22%3Bi%3A1%3Bs%3A32%3A%22Vvcg3rgnqHV4M-0IBX-FTgf2CsPXJDok%22%3B%7D

после декодирования выглядит так

5f57b7a6259bfe6d012a2fe4c9461260df38923e0f04735bfcc85cb9c3ff1cd7a:2:{i:0;s:5:"_csrf";i:1;s:32:"Vvcg3rgnqHV4M-0IBX-FTgf2CsPXJDok";}

и в advanced rest client разбивалась на несколько при импорте, но после фикса все равно 500.
я уверен что косяк в том что руки-крюки

[Дмитрий]

Попробуй юзер агента в хидарс прописать

[Сергей Тихонов]

Скопируйте запрос из браузера в виде curl-строки; добейтесь стабильной авторизации из консоли; после этого точь-в-точь повторите тот запрос, который отправляет curl.

[Владимир Гавр]

Дмитрий, пробовал, бесполезно

Answer 1

[Владимир Гавр]

проблема была в том что передавать параметры формы авторизации и токены csrf необходимо было используя data а не params

r2 = session.post("https://report.xxx.ru/user/security/login", data=data)

Answer 2

[Emil Revencu]

Добавьте в requests allow_redirects=True

Можно добавить и verify=False