Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Даниил Дединец
@donko1
Изучаю python
Парсинг
Как можно обойти защиту сайтов?
Создаю парсер для сайта, нужно делать много запросов. Более 50 000. Где-то через 10-15 запрос кидает капчу и защиту. Как обойти? Парсер на selenium.
Вопрос задан
более трёх лет назад
159 просмотров
Комментировать
Подписаться
1
Простой
Комментировать
Facebook
Вконтакте
Twitter
Помогут разобраться в теме
Все курсы
OTUS
iOS Developer
12 месяцев
Далее
AndroidSprint
Попробуйте себя в роли разработчика за 10 дней
1 неделя
Далее
Stepik
Парсинг на Python для начинающих
2 недели
Далее
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
12rbah
@12rbah
Вообще либо использовать несколько прокси, и если капча простая то можно порыться и найти штуку которая их может решать и выставить таймауты. А вообще зачем на сайт отсылать 50к запросов, для парсинга этого же явно много.
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Python
+1 ещё
Сложный
Как автоматизировать работу с сайтом используя Camoufox библиотеку?
2 подписчика
14 окт.
114 просмотров
0
ответов
Парсинг
Простой
Как получить ID всех ПВЗ?
1 подписчик
24 сент.
209 просмотров
0
ответов
Парсинг
+1 ещё
Простой
Как увеличить охват поисковых фраз Wildberries и ускорить?
2 подписчика
23 сент.
188 просмотров
0
ответов
Парсинг
Простой
Как парсить несколько сайтов, отличающихся друг от друга?
2 подписчика
09 сент.
191 просмотр
3
ответа
Node.js
+4 ещё
Простой
В чем разница между selenium, playwright и puppeteer?
3 подписчика
09 сент.
235 просмотров
2
ответа
Node.js
+1 ещё
Простой
NODE.JS – парсинг контента. При скачивании изображений получаю битые файлы. Как поправить?
1 подписчик
08 сент.
127 просмотров
1
ответ
Python
+2 ещё
Средний
Как правильно принимать платежи пользователей в сети Tron?
1 подписчик
03 сент.
215 просмотров
3
ответа
Парсинг
Средний
Как отслеживать парсеров?
4 подписчика
30 авг.
557 просмотров
2
ответа
Python
+2 ещё
Простой
Как анти-бот системы определяют ботов и как от них защищаться?
2 подписчика
13 авг.
370 просмотров
1
ответ
Python
+1 ещё
Простой
Можно ли отключить SSL сертификат при парсинге?
1 подписчик
13 авг.
203 просмотра
0
ответов
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
C++ / Qt Разработчик
Алабуга
•
Москва
До 370 000 ₽
DevOps / Python-разработчик
ЛСЦТ
•
Москва
от 280 000 ₽
Python Developer
Strikt
от 100 000 до 150 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама