Почему при парсинге данных вылетает ошибка 404?

Question

[Ocean_77]

Пытаюсь вытянуть данные с одного сайта.
Доступ к данным доступен только после авторизации, соответственно приходится запоминать куки.
Но, при попытке отправить запрос возвращается вот такая страница.

Однако, как только я открываю эту же ссылку в браузере запрос спокойно проходит и возвращает то что нужно.
В парсере все заголовки точно такие же, как и в обычном запросе из браузера, включая юзер агент.
Кто-нибудь знает в чем тут может быть дело?

P.S. Пример кода запроса

import requests

def main():
    h = {'Cookie': 'cookname=fsink; cookid=9a465629c4b5460bfe473034a6ec03e0; php_session_id_real=3lqqoquddfbjeosj7qfuilgon',
         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0',
         'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
         'Accept-Encoding': 'gzip, deflate',
         'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
         'Cache-Control': 'no-cache',
         'Connection': 'keep-alive',
         'DNT': '1',
         'Host': 'somesite.ru',
         'Pragma': 'no-cache',
         'Upgrade-Insecure-Requests': '1'}

    r = requests.get('http://somesite.ru/store/index.php', headers=h)

    with open('question.txt', 'w') as f:
        f.write(r.text)


if __name__ == "__main__":
    main()

Comments

[sim3x]

Cookies?

[Ocean_77]

sim3x, Я же написал, запрос в парсере аналогичен тому, который шлет мой браузер на эту страницу.

Answer 1

[Dimonchik]

бери фидлер

или тестируй на https://httpbin.org/ твой код, смотри что получает сервер

такие заголовки

'Cache-Control': 'no-cache',
         'Connection': 'keep-alive',
         'DNT': '1',
         'Host': 'somesite.ru',

не настраиваются в коде вообще никогда
ну, может, 1-2 из них теоретически можно настроить ( но не нужно), но это точно не Host

только заметил:

про куки в заголовках - очень смешно

Comments

[Ocean_77]

Перенес куки в отдельную переменную и убрал указанные выше поля, но ничего не имзенилось. Меня настораживает то, что при заходе в браузер все работает, и запросы из скрипта парсера исправно проходят. Видимо и вправду приедется внимательнее изучать запросы.

[Dimonchik]

нужно фиддлером проверить эквивалентность передаваемых

там что-то ломает нормальный запрос

Answer 2

[Фёдор]

cookid=9a465629c4b5460bfe473034a6ec03e0;
Похоже, что кука шифрованная. Может дело в этом?

Comments

[Ocean_77]

В каком смысле шифрованная? Эта кука была в заголовках запросах в браузере, т.е, как я понимаю, именно она и отправляется, наверное даже если она шифрованная, расшифрока происходит уже на сервере.

[Фёдор]

Обычно это делается для защиты csrf