Как правильно настроить работу скрипта через proxy?

Question

[ZaurK]

Здравствуйте! Возникла проблема насчет прокси, достаточно ли того как я делаю. Я меняю его в настройках хрома, вот так:
настройки->показать дополнительные настройки->изменить настройки прокси-сервера->настройка параметров локальной сети
далее в прокси-сервер заполняю поля адрес и порт ip с сайта hideme.ru/proxy-list

При этом скрипт на open-server нормально работает, но зайти на любой сайт браузер не в состоянии. С других браузеров тоже, то есть это видимо системная настройка.

Достаточно ли этого? может лучше в самом скрипте в curl_setopt менять ip ?
Пробовал дописать

curl_setopt($ch, CURLOPT_PROXY, '41.242.90.3');
curl_setopt($ch, CURLOPT_PROXYPORT, '80');

Далее, чтоб убедиться, что ip изменилось в самом скрипте вывожу ip

$pageText =new Curl();
$ip_url = 'https://api.ipify.org/';
echo $pageip=$pageText->get_page($ip_url);

В принципе вижу, что ip меняется, но скрипт начинает работать очень медленно и выдает пустые данные. Прошу знающих людей, посоветуйте как правильно.

Answer 1

[Ilya]

День добрый.
Прокси в curl вы отдаете правильно.
На тему бесплатных прокси от hideme.ru - я сам недавно пытался через них парсить и после теста понял, что из всего списка, реально работали только 2 ip и то недолго. Так что если хотите использовать прокси, но желательно использовать проверенный список, а это как правило платно. И если быть до конца честным - даже платные не всегда работают на 100%, но в целом точно лучше бесплатных.

Answer 2

[green1987]

Занимаюсь прасингом давным давно, и могу сказать следующее:
Если вы используете дешевенькие совсем прокси, то без проксичекера не обойтись. Как должна строиться работа проксичекера(Проверяльщика прокси на работоспособность, если по русски)?
Берём прокси, обращаемся через него к урлу, который парсим, и если страничка загрузилась быстро, и мы получили некий код страницы, который в футере, либо некое слово, которое там находится, то считаем прокси работоспособным, и сохраняем в текстовый файлик, затем из этого файлика будем брать наши проверенные прокси, для использования, НО! Как правильно подметили выше, прокси бесплатные, или дешевенькие, мрут очень быстро, в связи с чем есть необходимость проверять список наших прокси как можно чаще. К примеру раз в 5-10 минут прогонять скриптом все прокси. Что бы не тратить много времени на проверки, и при работе основного скрипта, на тормознутые прокси, выставляем лимиты работы функции. Если функция работает долго, значит прокси - тормоз, и тратить на него время(больше 3-5 секунд) больше смысла нет, можем переходить к следующему.
Прокси, к слову можно разделить на 4 вида:
Бесплатные - полная ерунда, на которую даже время тратить не стоит.
Дешевые - которые отдаются большим списком как правило, в несколько тысяч, и из них, при хорошем проксичекере, можно выжимать неплохой результат, но это что касается парсинга. Если у вас бот, который клацает по кнопкам, много яваскрипта, и прочей лабуды, которую не переносят дешевые прокси, лучше отказаться от их использования, в пользу проксей индивидуальных, которые не так уж и дороги.
Индивидуальные прокси, даются в одни руки. Стоят не дорого. Я покупаю тут.
Такие прокси в свою очередь тоже делятся на ipv4, ipv6, и т.д., но какие вам нужны, уточните у поддержки. Они подскажут чем отличаются типы проксей этих.
Дорогие прокси - стоить могут по несколько сотен $, и мне вообще никогда не приходилось их использовать. Не знаю для чего они нужны. То ли их используют люди, которые не знают, что есть индивидуальные прокси подешевле, то ли для каких-то особых задач ими пользуются. Мне неведомо к сожалению.
Кстати если кому парсинг нужен будет - обращайтесь в телеграмм.
Надеюсь админ за ссылки сильно не рассердится.

Comments

[ZaurK]

Спасибо за развернутый ответ

[green1987]

ZaurK, пожалуйста) Надеюсь пойдет напользу кому-нибудь.