CURL, как сайт донор может еще узнать обо мне?

Question

[Vmedmen]

Привет всем!

Помогаю пользователям перенести свои товары с другого сайта на мой (ни какого криминала). Импользую для этого cURL. Сайт донор всечески препятствует этому, и вот однажды он научился полностью блокировать мой сервер с которого идут запросы.

$curl_handle = curl_init();
        curl_setopt($curl_handle, CURLOPT_URL, $url);
        curl_setopt($curl_handle, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($curl_handle, CURLOPT_TIMEOUT, 10);
        curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 2);
        curl_setopt($curl_handle, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($curl_handle, CURLOPT_USERAGENT, 'Случайный юзер агент');
        curl_setopt($curl_handle, CURLOPT_PROXY, 'Случайный IP'); 
        curl_setopt($curl_handle, CURLOPT_PROXYUSERPWD, 'Логин пароль для прокси'); 
        $body = curl_exec($curl_handle);
        curl_close($curl_handle);
        return $body;

Я использую кучу платных прокси. При каждом запросе рандомно подставляется ip и юзерагент.

Самое интересное что все это работает отлично с локального компа или с другого сервера, однако на продакшине это перестало работать, код ответа курл выдает как 0.

Вопрос: Как можно обрулить эту ситуацию?

Заранее спасибо за помощь.

Comments

[sim3x]

Сам сайт разрешил парсить себя?

[Vmedmen]

sim3x: Пользователи копируют свой контент (информация о товарах), который пренадлежит им. Я предоставляю инструмент для этого.

[sim3x]

Vmedmen: если пользователи безвозмездно разместили информацию на сайте
А потом захотели етот контент забрать, то сайт может не давать им такого права

Если пользователи владеют данным ресурсом, то проще взять дамп БД и копию медиа-файлов и уже из них получить структурированную информацию

[Vmedmen]

cURL инструмент для получения содержимого веб-страницы. Вопрос я задал именно по использованию этого инструмента. Если Вы не можете или не знаете как это сделать, то думаю не стоит тратить свое время. Спасибо за внимание.

Answer 1

[Ilya]

День добрый.

1. Сменить сервер (или проще IP), раз уж с другого сервера работает без проблем
2. Парсить с помощью CasperJS или PhantomJS.

Comments

[Vmedmen]

Сменить сервер? и так каждый раз? За второй пункт спасибо

[Ilya]

Vmedmen: На самом деле надо, конечно, смотреть детальней на поведение этого сайта и его реакцию на ваши действия. Плюс неизвестно какие прокси вы используете. Некоторые могут передавать ваш реальный IP, так что сайт фактически забанить мог именно по IP, вот код:

if ( !empty( $_SERVER['HTTP_CLIENT_IP'] ) )
    {
      $ip = $_SERVER['HTTP_CLIENT_IP'];
    }
    elseif( !empty( $_SERVER['HTTP_X_FORWARDED_FOR'] ) )
    //to check ip passed from proxy
    {
      $ip=$_SERVER['HTTP_X_FORWARDED_FOR'];
    }
    else
    {
      $ip = $_SERVER['REMOTE_ADDR'];
    }

Поэтому попробовать на друго сервере не такая уж плохая идея. Ну и тщательней отбирать прокси, чтобы они были полностью анонимными.

[Vmedmen]

Сам сервер по ip точно забанен. Спасибо за этот совет, буду разбираться.