Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Даниил Дединец
@donko1
Изучаю python
Парсинг
Как можно обойти защиту сайтов?
Создаю парсер для сайта, нужно делать много запросов. Более 50 000. Где-то через 10-15 запрос кидает капчу и защиту. Как обойти? Парсер на selenium.
Вопрос задан
более двух лет назад
156 просмотров
Комментировать
Подписаться
1
Простой
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
12rbah
@12rbah
Вообще либо использовать несколько прокси, и если капча простая то можно порыться и найти штуку которая их может решать и выставить таймауты. А вообще зачем на сайт отсылать 50к запросов, для парсинга этого же явно много.
Ответ написан
более двух лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
WordPress
+1 ещё
Средний
Wordpress записи доступны только после ручного обновления?
1 подписчик
вчера
54 просмотра
1
ответ
Парсинг
Средний
Как выгрузить реестр арбитражных управляющих с почтой, телефоном и другими данными с сайта Росреестра?
1 подписчик
18 февр.
69 просмотров
1
ответ
Парсинг
+1 ещё
Средний
Как правильно обернуть undetected-chromedriver для парсинга?
2 подписчика
16 февр.
309 просмотров
0
ответов
Парсинг
Простой
Как спарсить сайт с авторизацией через смс?
1 подписчик
07 февр.
92 просмотра
3
ответа
Python
+1 ещё
Простой
Откуда брать mg_geo_id / city_code?
нет подписчиков
30 янв.
92 просмотра
0
ответов
Python
+2 ещё
Простой
Как авторизоватся на сайте pikabu с python?
1 подписчик
30 янв.
192 просмотра
0
ответов
Python
+2 ещё
Простой
Можно ли скачать лайкнутые медиа с Twitter, начиная с определённого твита?
1 подписчик
29 янв.
73 просмотра
0
ответов
Парсинг
Средний
Какие инструменты Вы используете для парсинга?
2 подписчика
13 янв.
614 просмотров
5
ответов
Парсинг
+1 ещё
Простой
Как гугл вычисляет пользователя?
5 подписчиков
12 янв.
10553 просмотра
3
ответа
Парсинг
Простой
Возможно ли парсить разные сайты одним скриптом?
1 подписчик
27 дек. 2024
211 просмотров
6
ответов
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Старший специалист по информационной безопасности (аттестация ОИ)
Гринатом
•
Москва
До 120 000 ₽
Senior Golang Engineer
Wanted.
До 6 000 $
Системный администратор Astra Linux
Гринатом
•
Новосибирск
До 60 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама