Как лучше парсить через прокси сервера?

Question

[Zimaell]

купил на good-proxies.ru прокси и использовал для curl но вот такую вот ошибку мне показывает

HTTP/1.0 501 Tor is not an HTTP Proxy Content-Type: text/html; charset=iso-8859-1

сам запрос таков

$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_TIMEOUT,60);
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,60); 
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,FALSE);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,TRUE);
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,FALSE);
curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,FALSE);
curl_setopt($ch,CURLOPT_HEADER,TRUE);
curl_setopt($ch,CURLOPT_POST,FALSE);
curl_setopt($ch,CURLOPT_PROXY,$proxy_ip);
curl_setopt($ch,CURLOPT_PROXYPORT,$proxy_port);
curl_close($ch);

заменил пару строк

curl_setopt($ch,CURLOPT_PROXY,$proxy_ip.':'.$proxy_port);
curl_setopt($ch,CURLOPT_PROXYTYPE,CURLPROXY_SOCKS5_HOSTNAME);

но ответа так и не получал, в смысле данные так и не приходят...
подскажите что я делаю не так, или что лучше использовать для парсинга амазона к примеру?

Answer 1

[donflash]

Для парсинга ebay я использую облако Hetzner.
Поднимается дешевая тачка или несколько тачек на несколько часов (сколько нужно времени для прогона парсера).
Тачки поднимаются уже из готового образа с socks5 проксей на докере.

Далее скрипт php7.2 + guzzle осуществляют парсинг.
Настрадался в свое время с платными/бесплатными проксями, да и стоимость облака копейки.

Comments

[Zimaell]

Посмотрел на Hetzner облако, там они стоят по 3 евро, это получается 3 евро за 1 ип, мне нужно в минуту где-то 100 страниц собирать, получается нужно где-то 50-100 ип, получается около 150 евро нужно выделать в месяц, учитывая что парсинг мне нужен постоянный, многовато как-то, или я не правильно понимаю работу облака?

[donflash]

Zimaell, зачем вам 50-100 IP? Попробуйте делать с одного IP множество запросов, попытайтесь экспериментальным путем выяснить максимальное количество пока вас не забанят. На примере того же ebay я с одного ip забираю тысячи товаров.

[Zimaell]

я вот сейчас как раз этим и занимаюсь - беру 1 прокси ип и делаю через него мульти запрос (multicurl php), беру значит 50 ссылок и посылаю, в ответ приходит 20-30 ответов из 50ти, далее этот ип уже тут не используется (он уже забанен походу, с него ответов нет), далее я подставляю следующий прокси и дособираю оставшиеся, на 50 ссылок уходит 2-3 ип, как 1000 с одного ип получить пока не пойму...
Для справки я собираю не ebay а amazon, может у них что-то по другому...

Если нужно могу показать сам мультизапрос который я отсылаю...