Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Даниил Дединец
@donko1
Изучаю python
Парсинг
Как можно обойти защиту сайтов?
Создаю парсер для сайта, нужно делать много запросов. Более 50 000. Где-то через 10-15 запрос кидает капчу и защиту. Как обойти? Парсер на selenium.
Вопрос задан
более трёх лет назад
158 просмотров
Комментировать
Подписаться
1
Простой
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
12rbah
@12rbah
Вообще либо использовать несколько прокси, и если капча простая то можно порыться и найти штуку которая их может решать и выставить таймауты. А вообще зачем на сайт отсылать 50к запросов, для парсинга этого же явно много.
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Парсинг
+1 ещё
Простой
Как вызвать синтаксическую ошибку (намеренно) в мессенджерах без открытого ИК?
2 подписчика
16 мая
1181 просмотр
0
ответов
PHP
+1 ещё
Средний
Как получить дерево категорий в PHP Simple HTML DOM Parser?
1 подписчик
12 апр.
83 просмотра
0
ответов
Python
+2 ещё
Простой
Как парсить динамическую таблицу с помощью selenium?
2 подписчика
09 апр.
176 просмотров
0
ответов
Python
+2 ещё
Простой
Как сделать, чтобы при парсинге bs4 как то надо нажать на кнопку «показать еще», чтобы подгрузило еще 20 постов?
1 подписчик
08 апр.
195 просмотров
2
ответа
Парсинг
+1 ещё
Простой
У меня не получается спарсить ссылку на фото с сайта, help?
1 подписчик
07 апр.
196 просмотров
2
ответа
HTML
+2 ещё
Простой
Как просмотреть скрытый sitemap.xml?
1 подписчик
27 мар.
197 просмотров
3
ответа
Парсинг
Простой
Как получить значение атрибута в PHP Simple HTML DOM Parser?
1 подписчик
23 мар.
50 просмотров
1
ответ
Парсинг
Средний
Эмуляция браузера в Docker в headless режиме для парсинга, какие есть варианты запустить полноценный браузер?
3 подписчика
12 мар.
690 просмотров
0
ответов
Python
+1 ещё
Простой
В чем ошибка при парсинге на python?
1 подписчик
11 мар.
292 просмотра
2
ответа
API
+1 ещё
Средний
Откуда брать информацию по лайв матчам Dota2 как у популярных сайтов?
4 подписчика
11 мар.
836 просмотров
0
ответов
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
C++ / Qt Разработчик (Middle)
Алабуга
•
Москва
До 370 000 ₽
Java-разработчик
Hireway
от 80 000 до 100 000 ₽
Go Backend Разработчик (в Тбилиси)
Wanted.
•
Тбилиси
До 5 500 $
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама