Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Даниил Дединец
@donko1
Изучаю python
Парсинг
Как можно обойти защиту сайтов?
Создаю парсер для сайта, нужно делать много запросов. Более 50 000. Где-то через 10-15 запрос кидает капчу и защиту. Как обойти? Парсер на selenium.
Вопрос задан
более трёх лет назад
157 просмотров
Комментировать
Подписаться
1
Простой
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
12rbah
@12rbah
Вообще либо использовать несколько прокси, и если капча простая то можно порыться и найти штуку которая их может решать и выставить таймауты. А вообще зачем на сайт отсылать 50к запросов, для парсинга этого же явно много.
Ответ написан
более двух лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
PHP
+1 ещё
Средний
Как получить дерево категорий в PHP Simple HTML DOM Parser?
1 подписчик
12 апр.
66 просмотров
0
ответов
Python
+2 ещё
Простой
Как парсить динамическую таблицу с помощью selenium?
2 подписчика
09 апр.
142 просмотра
0
ответов
Python
+2 ещё
Простой
Как сделать, чтобы при парсинге bs4 как то надо нажать на кнопку «показать еще», чтобы подгрузило еще 20 постов?
1 подписчик
08 апр.
142 просмотра
2
ответа
Парсинг
+1 ещё
Простой
У меня не получается спарсить ссылку на фото с сайта, help?
1 подписчик
07 апр.
180 просмотров
2
ответа
HTML
+2 ещё
Простой
Как просмотреть скрытый sitemap.xml?
1 подписчик
27 мар.
168 просмотров
3
ответа
Парсинг
Простой
Как получить значение атрибута в PHP Simple HTML DOM Parser?
1 подписчик
23 мар.
48 просмотров
1
ответ
Парсинг
Средний
Эмуляция браузера в Docker в headless режиме для парсинга, какие есть варианты запустить полноценный браузер?
3 подписчика
12 мар.
678 просмотров
0
ответов
Python
+1 ещё
Простой
В чем ошибка при парсинге на python?
1 подписчик
11 мар.
271 просмотр
2
ответа
API
+1 ещё
Средний
Откуда брать информацию по лайв матчам Dota2 как у популярных сайтов?
4 подписчика
11 мар.
812 просмотров
0
ответов
Парсинг
Простой
Как парсить динамические сайты на python?
1 подписчик
08 мар.
222 просмотра
3
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Программист 1С
Data World
•
Москва
До 220 000 ₽
Data Engineer\ Разработчик БД SQL
Data World
•
Санкт-Петербург
До 230 000 ₽
.Net backend developer в российскую IT-компанию
Redberries.pro
от 200 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама