Почему POST запрос возвращает ошибку CSRF verification?

Question

[Ivan1320]

Отправляю POST запрос на сайт для добавления сообщения на форум. На сайте предварительно залогинился и скопировал куки, которые передаю в сессию запроса.
При отправки GET запросов, через данную сессию, возвращаются страницы которые доступны только зарегистрированным пользователям. Т.е. куки передаются корректно.
При отправки POST запроса возвращается

CSRF verification failed. Request aborted.

You are seeing this message because this HTTPS site requires a 'Referer
header' to be sent by your Web browser, but none was sent. This header is
required for security reasons, to ensure that your browser is not being
hijacked by third parties

Какие еще параметры нужно передавать чтобы POST запрос обрабатывался корректно?

import requests

domain = '***'
header = {
    'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
}
session = requests.Session()
cookies_dict = [
    {'domain': domain,
     'name': 'sessionid_session',
     'path': '/',
     'value': '".eJyrVopPLC3JiC8tTi2KT0pMzk7NS1GyUkpJLcnOjC8oyk_LzEnVg4oX6zmXFpfk5zpBlekg680EajM2MzEyMqwFAD-UHmM:1pFDdv:eOxByiKOAHQAyNDdJfluwLV-VaQ"'},
    {'domain': f'www{domain}',
     'name': 'csrf__token',
     'path': '/',
     'value': 'uVDrE4ethIzvkxb6ihglmzk8P5yDlYNG'},
    {'domain': domain,
     'name': '_ym_d',
     'path': '/',
     'value': '1673347722'},
    {'domain': domain,
     'name': '_ym_isad',
     'path': '/',
     'value': '2'},
    {'domain': domain,
     'name': '_ym_uid',
     'path': '/',
     'value': '1673347722418692089'},
    {'domain': domain,
     'name': '_ym_visorc',
     'path': '/',
     'value': 'w'}
]
for cookies in cookies_dict:
    session.cookies.set(**cookies)

data_forum = {'csrfmiddlewaretoken': 'uVDrE4ethIzvkxb6ihglmzk8P5yDlYNG', 'backurl': '/sp/mode/163209/threads/422416/',
              'text': 'Отличный товар!'}
request_url = f'https://www{domain}/forum/thread/422416/reply/'
response = session.post(request_url, data=data_forum, headers=header)
print(response)
print(response.text)

Comments

[Ivan1320]

Решил проблему с помощью selenium!

[Вадим]

что там было?

[12rbah]

You are seeing this message because this HTTPS site requires a 'Referer
header' to be sent by your Web browser, but none was sent. This header is
required for security reasons, to ensure that your browser is not being
hijacked by third parties

Тут вам же всё написано, попробуйте воспользоваться переводчиком.

CSRF verification failed. Request aborted.

В целом немного странно что об этом пишут, обычно просто возврают bad request, суть в том, что при get запросе где-то проставляется csrf метка, в форме и при post запросе со страницы она ставится в хидер.

[Ivan1320]

После успешной публикации сообщения вручную, взял со страницы из запроса весь headers и сформировал в Python новый запрос, но уже без сессии.

import requests

domain = '****'
header = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'Content-Length': '406',
'Content-Type': 'multipart/form-data; boundary=----WebKitFormBoundaryL9whdwvPm7n5tAuT',
'Cookie': '_ym_uid=1673347722418692089; _ym_d=1673347722; csrf__token=uVDrE4ethIzvkxb6ihglmzk8P5yDlYNG; _ym_isad=2; _ym_visorc=w; sessionid_session=".eJxNi8sORTAQQH9FZk3TmQq5XfIhE48RDRfRdiX-HYmF7XkcwE0MI0cvO7serClyIky_uG26SZbbQS9hcrzt6-BmUS_3qo4-rP_qzVLwG49uCfIspMlkGjPEBH-WSqtJFZSjKeG8AKgoKCE:1pFaC6:-BT2LSKBYi-kpjoU1e4-ZxXP55k"',
'Host': 'www.kemdetki.ru',
'Origin': f'https://www{domain}',
'Referer': f'https://www{domain}/sp/mode/163209/threads/422416/',
'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
'sec-ch-ua-mobile':'?0',
'sec-ch-ua-platform':'"Windows"',
'Sec-Fetch-Dest': 'document',
'Sec-Fetch-Mode': 'navigate',
'Sec-Fetch-Site': 'same-origin',
'Sec-Fetch-User': '?1',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'
}

data_forum = {'csrfmiddlewaretoken': 'uVDrE4ethIzvkxb6ihglmzk8P5yDlYNG', 'backurl': '/sp/mode/163209/threads/422416/',
              'text': ':novgod:'}
request_url = f'https://www{domain}/forum/thread/422416/reply/'
response = requests.post(request_url, data=data_forum, headers=header)
print(response)
print(response.text)

получил практически такой же ответ:

CSRF verification failed. Request aborted.

More information is available with DEBUG=True

Работает какая то блокировка от ботов.

[Aragorn]

Ivan1320, сделайте ответом и пометьте решением