При парсинге сайта спустя время сбрасываются заданные фильтры страницы, как исправить?

Question

[DarkiDeuce]

Паршу список акций с сайта https://magnit.ru/promo/. После каждого полученного элемента информация о нём сохраняется в файл через цикл. Для остановки цикла я решил предварительно спарсить последний элемент с сайта. Для этого на самом сайте я задал нужный фильтр и передал Cookie(и все остальные значения) с сайта в requests. Всё работает нормально, но спустя какое то время Cookie перестают быть актуальными и при парсиге заданные мной фильтры не учитываются. Как сделать так, чтобы нужный фильтр постоянно применялся к странице?

Comments

[Михаил Р.]

Значит зашел я посмотреть акции...

[Василий]

Михаил Р., ъуЪ! парсеры, значить, свои сують куда ни попадя, вот и допарсились! Тьфу! Никакого стыда на вас не хватает!

[PavelMos]

Возможно защита от парсинга. Юзерагент браузерный используется ?
Что в качестве парсера используется ?
Проще имхо несколько раз коннектится и каждый следующий раз пропускать те элементы, которые уже обработаы.

[DarkiDeuce]

PavelMos, Да, юзерагент браузерный. Использую requests и BeautifulSoup.
Дело в том, чтобы весь список акций появляется по мере продвижения пользователя по сайту, так же и в коде. Поэтому использую атрибут data со значением page, и каждый раз его увеличиваю. Последний элемент списка акций, полученный благодаря фильтрам, так же является способом выхода из цикла. Но как фильтры спустя время перестают работать, как исправить не знаю.

[DarkiDeuce]

PavelMos, потестил и выяснил, что фильтр перестаёт применяться вместе с закрытием сессии PHPSESSID которая живёт 24 минуты. Не знаете, что можно сделать с этим?