Как пройти CSRF verification?

Question

[Степан Арвеладзе]

Доброго времени суток!
Делаю парсер одного сайта, после авторизации выдает вот такое:

<div id="summary">
  <h1>Forbidden <span>(403)</span></h1>
  <p>CSRF verification failed. Request aborted.</p>


  <p>You are seeing this message because this site requires a CSRF cookie when submitting forms. This cookie is required for security reasons, to ensure that your browser is not being hijacked by third parties.</p>
  <p>If you have configured your browser to disable cookies, please re-enable them, at least for this site, or for &#39;same-origin&#39; requests.</p>

</div>

Есть ли способы обойти это?

Comments

[Nik Gubin]

Да. Изучить, какие поля\заголовки отправляются на сервер.
Как только вы найдёте, где отправляется токен, то ищите следом откуда он берётся.
В полях он обычно установлен заранее, или же зашит в js, а так же может лежать в html-атрибутах, откуда подхватывается с помощью js и помещается в форму. В общем ищите, где лежит токен и упаковывайте его в запрос.

[Степан Арвеладзе]

Nik Gubin: Спасибо за совет. Заранее скажу, что я новичек. Выяснил откуда берется токен (лежит в одном из атрибутов html), теперь надо его отправить, можете обьяснить как?

[Nik Gubin]

Степан Арвеладзе:

Заранее скажу, что я новичек

Важно желание учиться и разбираться))

теперь надо его отправить, можете обьяснить как?

Теперь Вам нужно разобраться, какие данные вообще отправляются непосредственно на сайте, чтобы отправить через curl точно такие же. Для этого я использую инструменты разработчика (в браузерах на chromium: Opera, Chrome к примеру). Нажмите ctrl+shift+i и нужна вкладка Network. Там будет таблица запросов, которые отправляются с текущей страницы, на которой были вызваны инструменты. Заполняем форму и нажимаем на кнопку, после чего видим новый запрос в таблице. Жмём на него и справа откроются подробности. Там нужна вкладка Headers, а в ней блок "Query String Parameters". В ней будут все поля с данными, которые отправились на сервер в этом запросе. Не важно, GET запрос, или POST, данные там будут и для одного и для второго. Дальше добавляйте поля в запрос и там же увидите, как отправляется token.

Я точно не помню, запросы в списке останутся для НЕ ajax запросов или обнулятся после перезагрузки странички, но если не получится отследить, напишите. Тогда я посмотрю и уточню ответ свой.

[Степан Арвеладзе]

Nik Gubin: Спасибо. Наверное мне надо было начать с примера моего кода

import requests

def autoriz():
    session= requests.Session()
    url='http://example.com/accounts/login/'
    data={'username':'USER', 'password':'PASS'}
    print(session.post(url, data=data).text)


def main():
    autoriz()

if __name__=="__main__":
    main()

В панели разработчика у меня нет блока "Query String Parameters". Но я смог отследить номер токена, который генерируется при начале авторизации и отправляется на сервер. Так вот вопрос состоит в том, как его взять, во время заполнения логина и пароля, и отправить вместе с этими данными на сервер.

[Nik Gubin]

Степан Арвеладзе: код ваш мне не даст ничего, т.к. Нужно смотреть, как сайт отправляет эту форму и с какими полями. Блок значит плохо искали. Попробуйте ещё раз. Ну или на крайний случай приложите ссылку на авторизацию, сам гляну.

Токен выдрать нужно тоже самостоятельно. Скачивайте эту страницу, на которой нашли токен, разбирайте регулярной или через xPath, а после подставляйте в запрос.

[Nik Gubin]

Степан Арвеладзе: отлично. Через часик гляну и распишу, как это можно сделать в инструментах, чтобы закрепилось понимание.

[Степан Арвеладзе]

Nik Gubin: большое спасибо!

[Nik Gubin]

Степан Арвеладзе: по памяти писал и соврал.

Для POST запросов (в нашем случае оно самое) блок называется "Form Data".
Полученный токен нужно передать с ключём csrfmiddlewaretoken. Это там же, где вы прикладываете username и password. А инструменты разработчика советую изучить. Бывают иногда очень полезны.

[Степан Арвеладзе]

Nik Gubin: ну я так и думал. Еще раз большое спасибо за отзывчивость, пойду учить матчасть.

[Nik Gubin]

Степан Арвеладзе: не за что! Кстати, стоит подумать над отслеживанием ошибок при авторизации (например проверять, что возвращает запрос и анализировать, есть ли там нужный текст, который обычно есть после успешной авторизации), ибо название поля для CSRF иногда меняются, если разработчики это реализовали.