Парсинг сайтов, как обойти защиту?

Question

[del4pp]

Здравствуйте.
При парсинге сайта с домашнего пк выдает нужную информацию, но когда использую сервер + прокси - каждая страница сайта имеет одну и ту же структуру html страницы, из-за чего парсер ловит ответ 403
Пробовал разные прокси, кто подскажет как обойти?

Comments

[Сергей Карбивничий]

Приватные прокси. А что за сайт?

[del4pp]

Сергей Карбивничий, ruru.hotmo.org

Answer 1

[Сергей Карбивничий]

Рекомендую программу RSocks Proxy Checker Есть версии и под linux. Загружаете в неё список прокси, и указываете сайт для проверки 'ruru.hotmo.org '. По окончанию проверки, сортируете результаты по "200 OK" и сохраняете такие прокси. Только что проверил на python, работает.

Comments

[del4pp]

Спасибо )

Answer 2

[Dimonchik]

надежные прокси

чекаются заранее на конкретном сайте

Гуглы и монстры (типа Амазона) просто так не пробить

Comments

[del4pp]

Купил прокси специально для сайта, та же проблема.

[Dimonchik]

в браузере открывает через прокси?

[del4pp]

dimonchik2013, нет, в браузере без прокси, если с гугл колаб, изпользую юзер агент также в коде. Работает на ноуте через requests.get(url) и все парсит как надо, на сервере и гугл коллаб - ловит 403

[Andrey_Dolg]

del4pp, 2 варианта прокси не анонимные или есть отличия в коде и отброс идёт из-за неправильного запроса.

UPD
Ага вроде понял. Походу лок по геолокации(ну или по провайдерам). Украина?)