Как обновлять куки для парсинга?

Question

[utsiye]

Есть сайт с хорошей защитой от ботов. Каждые х секунд парсер делает запросы к внутреннему API сайта. +- 20 минут запросы идут успешно, но после этого куки, похоже, устаревают. Как лучше всего их обновлять автоматически? Заход в браузер через selenium/playwright в steals не помог - выдает timeout. Может быть стоит попробовать другие библиотеки с лучшей маскировкой? Например botasaurus.

Answer 1

[Михаил Р.]

Есть сайт с хорошей защитой от ботов.

Заход в браузер через selenium/playwright в steals не помог

Не поможет с обычной защитой, а вы про хорошую говорите...

Как лучше всего их обновлять автоматически?

Получайте куки так же, как получали для первых запросов.

Может быть стоит попробовать другие библиотеки с лучшей маскировкой?

Если на сайте имеется средняя защита, то не одна библиотека вам не поможет, проблема в браузере. Используйте антидетект браузер (не поможет со сложной защитой).

Comments

[utsiye]

Спасибо, для первых запросов использован человеческий ввод. Поможет ли, тогда, периодическое обновление сайта для получения свежих кук в антидетект браузере?

[Михаил Р.]

для первых запросов использован человеческий ввод

Самостоятельно заходите на сайт и экспортируете полученные куки?

Поможет ли, тогда, периодическое обновление сайта для получения свежих кук в антидетект браузере?

Со слабой и средней защитой - да.

[utsiye]

Михаил Р., да, самостоятельно захожу и экспортирую. На сайте вход по смс, так что автоматизировать не получится / будет дорого. Спасибо за помощь

[Михаил Р.]

utsiye, если ответ помог, то отметьте решением.