Приветствую! Нужно автоматизировать парсинг cookies и headers. О чем идет речь: парсинг сайта периодически останавливается из-за капчи. Эту капчу можно обойти просто добавив новые куки.
Кто-нибудь знает можно ли автоматизировать это при помощи Selenium?
Чтобы было понятно, как бы это делалось в ручную:
1.Открываетс сайт
2.Включается инструмент разработчика, далее сеть
3.Далее находим нужный метод api и нажимаем "копировать как cURL(bash)"
4.Всё, там уже есть нужные куки
Как это можно автоматизировать? Если прямиком запрашивать адрес api через селениум, то выдается 403 ошибка.
На вопрос «как сделать» отвечает документация и поиск в интернет.
Тут отвечают на вопросы «почему я сделал, как в документации, а оно не работает. Поискал в интернет, вот запросы, в ответах не нашел. Что я делаю не так?»
Покажите, как вы пробовали решить проблему, приведите код попытки (пусть неудачной), опишите, как запускали, что ожидали и что получилось.
За готовыми решениями - на фриланс. В текущем виде это не вопрос, а задание. Нарушен п.5.12 Регламента.
Selenium сам берёт куки и заголовки, ведь это обёртка над настоящим браузером. Никакого "парсить куки" там нет, сама эта фраза лишена смысла.
Проблема именно в том, что Selenium детектится по своим особенностям. И даже если использовать разные хаки для обмана сайта, то чисто поведенческие факторы (количество запросов в секунду, количество запросов к API без запросов инициирующих API-вызовы страниц, итд итп) всё равно никак не обойти: сайт покажет капчу, которую придётся решать.
