Как спарсить страницу, которая открывается только при переходе с определенной страницы на сайте?

Question

[ssssergey]

Использую Scrapy (python). Не получается скачать страницу по прямой ссылке - ошибка 404. В том числе и в браузере. На страницу можно войти только в браузере переходом с определенной страницы сайта. Видимо такая защита от скарппинга.

Comments

[sim3x]

Не знаете, как сопировать реферер и куки?

[Evgen]

Нужно смотреть конкретно страницу.
Нужно проверять, чтоб соответствовали headers.