Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
kopelev2000
@kopelev2000
Python
Парсинг
Selenium
Как спарсить данные с сайта, если сайт не даёт зайти с СНГ региона?
Надо спарсить некую информацию с сайта yad2.co.il , при попытке сделать это, выдаёт «Отказано в доступе», что при этом можно сделать?
Вопрос задан
более трёх лет назад
229 просмотров
1
комментарий
Подписаться
1
Простой
1
комментарий
Facebook
Вконтакте
Twitter
sudo rm -rf /
@MaxLevs
Можно на момент парсинга подрубать прокси на уровне oc.
Или непосредственно в той библиотеке, которой парсите.
Написано
более трёх лет назад
Решения вопроса
1
sudo rm -rf /
@MaxLevs
Для этого нужно использовать
прокси-сервер
.
Включить его можно как
на уровне ОС
(но тогда
все
ваши соединения будут проходить через него),
либо непосредственно
из скрипта
, используя инструменты той библиотеки, которой парсите.
Примеры:
Для Scrapy
Для Requests
Для Selenium
Ответ написан
более трёх лет назад
2
комментария
Нравится
2
2
комментария
Facebook
Вконтакте
Twitter
kopelev2000
@kopelev2000
Автор вопроса
Можете посоветывать какте нибудь бесплатные прокси?
Написано
более трёх лет назад
sudo rm -rf /
@MaxLevs
kopelev2000
, у меня не возникало надобности искать их.
Но в гугле первая ссылка на запросу "бесплатные прокси" даёт неплохой
список
.
Написано
более трёх лет назад
Пригласить эксперта
Ответы на вопрос
0
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Python
Простой
Как проверять кодом наличие конкретно той или иной библиотеки?
2 подписчика
12 часов назад
184 просмотра
2
ответа
Парсинг
Средний
Эмуляция браузера в Docker в headless режиме для парсинга, какие есть варианты запустить полноценный браузер?
2 подписчика
вчера
341 просмотр
0
ответов
Python
+1 ещё
Средний
Как избавится от эффекта бандинга/постеризации градиента?
1 подписчик
вчера
109 просмотров
2
ответа
Python
+1 ещё
Простой
В чем ошибка при парсинге на python?
1 подписчик
11 мар.
173 просмотра
2
ответа
API
+1 ещё
Средний
Откуда брать информацию по лайв матчам Dota2 как у популярных сайтов?
3 подписчика
11 мар.
709 просмотров
0
ответов
Python
+2 ещё
Средний
Почему не все упоминания юзеров Telegram кликабельны?
1 подписчик
10 мар.
482 просмотра
2
ответа
Python
+2 ещё
Простой
Как анализировать востребованность технологии?
1 подписчик
10 мар.
116 просмотров
1
ответ
Python
Простой
Есть ли в питоне файл проекта?
1 подписчик
10 мар.
197 просмотров
2
ответа
Парсинг
Простой
Как парсить динамические сайты на python?
1 подписчик
08 мар.
166 просмотров
3
ответа
Python
+1 ещё
Средний
Как выполнить Olx парсинг номера?
3 подписчика
08 мар.
769 просмотров
2
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Старший Python разработчик/Senior Python developer
Платежное решение
•
Москва
До 300 000 ₽
Python developer
Greenway Global
•
Новосибирск
от 150 000 ₽
Руководитель группы разработки Python/Tech Lead Python
Платежное решение
•
Москва
До 500 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама