Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Даниил Дединец
@donko1
Изучаю python
Парсинг
Как можно обойти защиту сайтов?
Создаю парсер для сайта, нужно делать много запросов. Более 50 000. Где-то через 10-15 запрос кидает капчу и защиту. Как обойти? Парсер на selenium.
Вопрос задан
более трёх лет назад
158 просмотров
Комментировать
Подписаться
1
Простой
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
12rbah
@12rbah
Вообще либо использовать несколько прокси, и если капча простая то можно порыться и найти штуку которая их может решать и выставить таймауты. А вообще зачем на сайт отсылать 50к запросов, для парсинга этого же явно много.
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Парсинг
+1 ещё
Простой
Datacol программа некоректно работает с прокси, вопрос почему?
1 подписчик
15 часов назад
38 просмотров
0
ответов
Парсинг
+4 ещё
Простой
Как отловить фрейм с капчей?
1 подписчик
02 июл.
67 просмотров
0
ответов
JavaScript
+1 ещё
Простой
Как можно получить такой список ссылок?
1 подписчик
01 июл.
200 просмотров
0
ответов
Python
+1 ещё
Простой
Парсинг с помощью библиотеки requests для Python. Как указать параметр из API если в нем заключается недопустимое значение с точками?
1 подписчик
16 июн.
184 просмотра
2
ответа
Парсинг
Простой
Как сделать веб-скрейпинг сайта?
3 подписчика
09 июн.
1322 просмотра
3
ответа
Python
+1 ещё
Простой
Почему api золотого яблока блокирует все запросы?
1 подписчик
05 июн.
808 просмотров
2
ответа
Парсинг
+1 ещё
Простой
Как вызвать синтаксическую ошибку (намеренно) в мессенджерах без открытого ИК?
2 подписчика
16 мая
1203 просмотра
0
ответов
PHP
+1 ещё
Средний
Как получить дерево категорий в PHP Simple HTML DOM Parser?
1 подписчик
12 апр.
93 просмотра
0
ответов
Python
+2 ещё
Простой
Как парсить динамическую таблицу с помощью selenium?
2 подписчика
09 апр.
194 просмотра
0
ответов
Python
+2 ещё
Простой
Как сделать, чтобы при парсинге bs4 как то надо нажать на кнопку «показать еще», чтобы подгрузило еще 20 постов?
1 подписчик
08 апр.
217 просмотров
2
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
C++ / Qt Разработчик
Алабуга
•
Москва
До 370 000 ₽
Backend Developer (Junior/Middle)
Betnetix
•
Ростов-на-Дону
от 80 000 до 250 000 ₽
Middle Python Developer
Strikt
•
Москва
от 100 000 до 180 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама