Почему не работают прокси curl?

Question

[Сергей Присяжнюк]

Парсил я значит сайт 2gis все было хорошо и тут мне говорят ваш IP забанен, я решил поставить прокси и он мне выдает тоже окошко что IP забанено и уже с IP прокси. Что не так ? Может что то в настройках хостинга ?

<?php
error_reporting(E_ALL);
ini_set('display_errors', 1);


$url = "https://2gis.ru/novosibirsk/firm/141265769757489";

$curl = curl_init($url);
$proxy = '153.92.5.186:8080';

//curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
//curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);
curl_setopt($curl, CURLOPT_PROXY, $proxy);

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, true);
curl_setopt($curl, CURLOPT_HEADER, true);

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);


$page = curl_exec($curl);

echo $page;



?>

Answer 1

[AUser0]

Значит администраторы 2gis (или хостера) догадываются о существовании технологии прокси, такой адрес где-то когда-то видели/фиксировали, и уже заблокировали.

Comments

[Сергей Присяжнюк]

Я уже прокси 50 попробовал так что дело не в них!

[AUser0]

TOR? Если да - то тем более будут блокировать, просто перманентно. В этом случае проще капчу решать.
И куки таки использовать.
Плааа-а-авали, зааа-а-а-аем... (с) мультфильм.

[Сергей Присяжнюк]

AUser0, Я в интернете поискал различные либо просто белая странница либо пишет что ip забанено.

[AUser0]

Сергей Присяжнюк, ну, хех, се-ля-ви, поздравляю. Теперь вам предстоит долгий-долгий мозговой штурм, по какому критерию сервер вас отлавливает. Кстати, wget не взял этот URL, HTTP 403 Forbidden. Начинайте думать...

[zlo1]

попробуйте socks4

пример:
$proxy = 'socks4://109.110.34.78:4145'

[Сергей Присяжнюк]

zlo1, спасибо попробую

[AUser0]

Так использование sock4/5 ничего не изменит. Это даже и не прокси, а гейтвэи, которые прозрачно пропускают данные через свой исходящий IP. Единственно что - это новый незабаненный IP.

[Сергей Присяжнюк]

AUser0, Я уже запускал с локального пк все равно тот же эффект

[AUser0]

Ещё раз порекомендую пахать в сторону HTTP заголовков в запросе (простой wget не справился, о как!). С куками и ETag-ом, естественно если они есть.
И решения хотя бы одной капчи, после которого доступ, возможно, продлится до бесконечности...

Answer 2

[Ярослав]

Понимаю, что вопрос немного устарел, но мне кажется он интересный и может кому-нибудь потребоваться.

Я немного игрался с 2gis и советую обратить внимание на такие странности:
1. Он не любит запросы от curl. Просто заменить user-agent - уже хорошо. (`-A fakeuseragent/1.0`)
2. На входе может требоваться обработка JS, которая есть в настоящем браузере (в браузере вы ее не видите, он просто исполняет JS код, потом выставляет куки и дальше эта страница уже открывается. Советую попробовать playwright в обычном (не headless) режиме и установить реалистичный юзер-агент.
3. Иногда 2gis по странной логике банит не вас, а себя - свой IP :-). Я не понимаю полет их фантазии, но советую в подобной странной ситуации попробовать другой адрес.