Как добавить к чекингу HTTPS и HTTP еще и проверку и выдачу SOCKS5 проксей?

Question

[Михаил Компас]

Есть многопоточный php чекер проксей (curl_multi), который чекает прокси из txt файла 1_ne_check.txt, в файле лежат http/https/sock4/socks5 прокси.

Скрипт проверяет их на валидность и сохраняет в файл 2_results.txt .

Но сохраняет только валидные http и https, хотя в 1_ne_check.txt есть так же валидные socks4/socks5

Как сделать чтоб скрипт чекал прокси и сохранял именно эти типы проксей: https и socks5.
Прокси типа: socks4 и http - мне не нужны.

<?php
$proxies = file ("1_ne_check.txt");
if (empty($proxies))
{
    exit(1);
}
$proxies_out = array();
$mc = curl_multi_init ();
for ($thread_no = 0; $thread_no<count ($proxies); $thread_no++)
{
$c [$thread_no] = curl_init ();
curl_setopt ($c [$thread_no], CURLOPT_URL, "http://google.com");
curl_setopt ($c [$thread_no], CURLOPT_HEADER, 0);
curl_setopt ($c [$thread_no], CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($c [$thread_no], CURLOPT_CONNECTTIMEOUT, 5);
curl_setopt ($c [$thread_no], CURLOPT_TIMEOUT, 10);
curl_setopt ($c [$thread_no], CURLOPT_PROXY, trim ($proxies [$thread_no]));
curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, 0);
curl_multi_add_handle ($mc, $c [$thread_no]);
}
 
do {
while (($execrun = curl_multi_exec ($mc, $running)) == CURLM_CALL_MULTI_PERFORM);
if ($execrun != CURLM_OK) break;
while ($done = curl_multi_info_read ($mc))
{
$info = curl_getinfo ($done ['handle']);
if ($info ['http_code'] == 301) {
echo trim ($proxies [array_search ($done['handle'], $c)])."\r\n";
$proxies_out[trim($proxies[array_search($done['handle'], $c)])] = trim($proxies[array_search($done['handle'], $c)]);
}
curl_multi_remove_handle ($mc, $done ['handle']);
}
} while ($running);
curl_multi_close ($mc);
file_put_contents("2_results.txt", implode("\r\n", $proxies_out));
?>

Answer 1

[AUser0]

Хых!

<?php
$proxies = file ("1_ne_check.txt");
if (empty($proxies))
{
    exit(1);
}

$mc = curl_multi_init ();
for ($thread_no = 0; $thread_no<count ($proxies); $thread_no++)
{
    $c [$thread_no] = curl_init ();
    curl_setopt ($c [$thread_no], CURLOPT_URL, "http://google.com");
    curl_setopt ($c [$thread_no], CURLOPT_HEADER, 0);
    curl_setopt ($c [$thread_no], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt ($c [$thread_no], CURLOPT_CONNECTTIMEOUT, 5);
    curl_setopt ($c [$thread_no], CURLOPT_TIMEOUT, 10);
    curl_setopt ($c [$thread_no], CURLOPT_PROXY, trim ($proxies [$thread_no]));
    curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
    curl_multi_add_handle ($mc, $c [$thread_no]);
}
 
$proxies_out = array();
do {
    while (($execrun = curl_multi_exec ($mc, $running)) == CURLM_CALL_MULTI_PERFORM);
    if ($execrun != CURLM_OK) break;
    while ($done = curl_multi_info_read ($mc))
    {
        $info = curl_getinfo ($done ['handle']);
        if ($info ['http_code'] == 301) {
            echo trim ($proxies [array_search ($done['handle'], $c)])."\r\n";
            $proxies_out[trim($proxies[array_search($done['handle'], $c)])] = trim($proxies[array_search($done['handle'], $c)]);
            unset($proxies[array_search ($done['handle'], $c)]);
        }
        curl_multi_remove_handle ($mc, $done ['handle']);
    }
} while ($running);
curl_multi_close ($mc);

$mc = curl_multi_init ();
for ($thread_no = 0; $thread_no<count ($proxies); $thread_no++)
{
    $c [$thread_no] = curl_init ();
    curl_setopt ($c [$thread_no], CURLOPT_URL, "http://google.com");
    curl_setopt ($c [$thread_no], CURLOPT_HEADER, 0);
    curl_setopt ($c [$thread_no], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt ($c [$thread_no], CURLOPT_CONNECTTIMEOUT, 5);
    curl_setopt ($c [$thread_no], CURLOPT_TIMEOUT, 10);
    curl_setopt ($c [$thread_no], CURLOPT_PROXY, trim ($proxies [$thread_no]));
    curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);
    curl_multi_add_handle ($mc, $c [$thread_no]);
}
 
$proxies5_out = array();
do {
    while (($execrun = curl_multi_exec ($mc, $running)) == CURLM_CALL_MULTI_PERFORM);
    if ($execrun != CURLM_OK) break;
    while ($done = curl_multi_info_read ($mc))
    {
        $info = curl_getinfo ($done ['handle']);
        if ($info ['http_code'] == 301) {
            echo trim ($proxies [array_search ($done['handle'], $c)])."\r\n";
            $proxies5_out[trim($proxies[array_search($done['handle'], $c)])] = trim($proxies[array_search($done['handle'], $c)]);
        }
        curl_multi_remove_handle ($mc, $done ['handle']);
    }
} while ($running);
curl_multi_close ($mc);

file_put_contents("2_results.txt", implode("\r\n", $proxies_out)."\r\n\r\n".implode("\r\n", $proxies5_out));
?>

Comments

[Михаил Компас]

Спасибо за исправление. Но вот тут вы указали HTTP , в таком случае ( если я не ошибаюсь) он будет собирать прокси типа: HTTP , мне они не нужны. может там нужно поставить HTTPS ?
==============================================================

====================

Далее по коду вижу что будет еще брать SOCKS5 , там вроде норм все.
Напомню, что мне нужны только HTTPS и SOCKS5

[AUser0]

Так подправьте сами, в соответствии со своей версией PHP. Или вы даже ЭТОГО не можете?

[Михаил Компас]

AUser0,
могу конечно!)
Но теперь скрипт не чекает прокси (файл 2_results.txt - пустой )

Поменял 
    curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
на
    curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_HTTPS);

Поменял
    curl_setopt ($c [$thread_no], CURLOPT_URL, "http://google.com");

на

    curl_setopt ($c [$thread_no], CURLOPT_URL, "https://google.com");

Скрипт:

<?php
$proxies = file ("1_ne_check.txt");
if (empty($proxies))
{
    exit(1);
}

$mc = curl_multi_init ();
for ($thread_no = 0; $thread_no<count ($proxies); $thread_no++)
{
    $c [$thread_no] = curl_init ();
    curl_setopt ($c [$thread_no], CURLOPT_URL, "https://google.com");
    curl_setopt ($c [$thread_no], CURLOPT_HEADER, 0);
    curl_setopt ($c [$thread_no], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt ($c [$thread_no], CURLOPT_CONNECTTIMEOUT, 5);
    curl_setopt ($c [$thread_no], CURLOPT_TIMEOUT, 10);
    curl_setopt ($c [$thread_no], CURLOPT_PROXY, trim ($proxies [$thread_no]));
    curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_HTTPS);
    curl_multi_add_handle ($mc, $c [$thread_no]);
}
 
$proxies_out = array();
do {
    while (($execrun = curl_multi_exec ($mc, $running)) == CURLM_CALL_MULTI_PERFORM);
    if ($execrun != CURLM_OK) break;
    while ($done = curl_multi_info_read ($mc))
    {
        $info = curl_getinfo ($done ['handle']);
        if ($info ['http_code'] == 301) {
            echo trim ($proxies [array_search ($done['handle'], $c)])."\r\n";
            $proxies_out[trim($proxies[array_search($done['handle'], $c)])] = trim($proxies[array_search($done['handle'], $c)]);
            unset($proxies[array_search ($done['handle'], $c)]);
        }
        curl_multi_remove_handle ($mc, $done ['handle']);
    }
} while ($running);
curl_multi_close ($mc);

$mc = curl_multi_init ();
for ($thread_no = 0; $thread_no<count ($proxies); $thread_no++)
{
    $c [$thread_no] = curl_init ();
    curl_setopt ($c [$thread_no], CURLOPT_URL, "https://google.com");
    curl_setopt ($c [$thread_no], CURLOPT_HEADER, 0);
    curl_setopt ($c [$thread_no], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt ($c [$thread_no], CURLOPT_CONNECTTIMEOUT, 5);
    curl_setopt ($c [$thread_no], CURLOPT_TIMEOUT, 10);
    curl_setopt ($c [$thread_no], CURLOPT_PROXY, trim ($proxies [$thread_no]));
    curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);
    curl_multi_add_handle ($mc, $c [$thread_no]);
}
 
$proxies5_out = array();
do {
    while (($execrun = curl_multi_exec ($mc, $running)) == CURLM_CALL_MULTI_PERFORM);
    if ($execrun != CURLM_OK) break;
    while ($done = curl_multi_info_read ($mc))
    {
        $info = curl_getinfo ($done ['handle']);
        if ($info ['http_code'] == 301) {
            echo trim ($proxies [array_search ($done['handle'], $c)])."\r\n";
            $proxies5_out[trim($proxies[array_search($done['handle'], $c)])] = trim($proxies[array_search($done['handle'], $c)]);
        }
        curl_multi_remove_handle ($mc, $done ['handle']);
    }
} while ($running);
curl_multi_close ($mc);

file_put_contents("2_results.txt", implode("\r\n", $proxies_out)."\r\n\r\n".implode("\r\n", $proxies5_out));
?>

[AUser0]

Ну это вы зря, зря. У вас скрипт ловит HTTP-код перенаправления (301). И раньше обращение к http:// приводило к перенаправлению (301) на https://. А теперь вы изначально поставили https://, перенаправление на него не делается, потому что адрес УЖЕ с s, а скрипт не ловит другие коды...

Поменяйте ($info ['http_code'] == 301) на ($info ['http_code'] >= 200) в обоих проверках, будет находить больше проксей.

[AUser0]

Ещё после обоих $mc = curl_multi_init (); стоит добавить $c = array();.

[AUser0]

И вишенкой на всём этом "торте" - вместо google.com стоит использовать какой-нибудь другой сайт, попроще. Например 2ip.ru/. А то Google блокирует proxy-сервера, запрашивает Captcha для отфильтровывания ботов, и т.д...

P.S. Надеюсь в качестве благодарности вы хотя-бы отметите этот бесплатный совет и пред-предыдущий как решение вашего вопроса. :-)

[Михаил Компас]

AUser0, конечно отвечу, я умею отвечать добром на добро! Мне этот чекер нужен для ютуба, поэтому я поставил сайт гугла https://google.com. Так может сразу воткнуть url: https://www.youtube.com , или это тот же гугл со своей капчей?)

[AUser0]

Сколько пользовался youtube-ом - вот ни разу капчи не встречал.

Answer 2

[Sergej]

Если я правильно понял, то надо тип отдать

curl_setopt($c[$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);

Either CURLPROXY_HTTP (default), CURLPROXY_SOCKS4, CURLPROXY_SOCKS5, CURLPROXY_SOCKS4A or CURLPROXY_SOCKS5_HOSTNAME.

Comments

[Михаил Компас]

следуя вашему совету, правильно ли я прописал?

<code lang="php">
<?php
$proxies = file ("1_ne_check.txt");
if (empty($proxies))
{
    exit(1);
}
$proxies_out = array();
$mc = curl_multi_init ();
for ($thread_no = 0; $thread_no<count ($proxies); $thread_no++)
{
$c [$thread_no] = curl_init ();
curl_setopt ($c [$thread_no], CURLOPT_URL, "http://google.com");
curl_setopt ($c [$thread_no], CURLOPT_HEADER, 0);
curl_setopt ($c [$thread_no], CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($c [$thread_no], CURLOPT_CONNECTTIMEOUT, 5);
curl_setopt ($c [$thread_no], CURLOPT_TIMEOUT, 10);
curl_setopt ($c [$thread_no], CURLOPT_PROXY, trim ($proxies [$thread_no]));
curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);
curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5_HOSTNAME);
curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
curl_multi_add_handle ($mc, $c [$thread_no]);
}
 
do {
while (($execrun = curl_multi_exec ($mc, $running)) == CURLM_CALL_MULTI_PERFORM);
if ($execrun != CURLM_OK) break;
while ($done = curl_multi_info_read ($mc))
{
$info = curl_getinfo ($done ['handle']);
if ($info ['http_code'] == 301) {
echo trim ($proxies [array_search ($done['handle'], $c)])."\r\n";
$proxies_out[trim($proxies[array_search($done['handle'], $c)])] = trim($proxies[array_search($done['handle'], $c)]);
}
curl_multi_remove_handle ($mc, $done ['handle']);
}
} while ($running);
curl_multi_close ($mc);
file_put_contents("2_results.txt", implode("\r\n", $proxies_out));
?>
</code>

что именно я поменял

[Sergej]

Михаил Компас, в итоге вы присвоили HTTP

[Михаил Компас]

Cod.it,
Теперь верно указал? поменял с http на https
Заранее простите за нубские вопросы.

споилер что поменял

<code lang="php">
<?php
$proxies = file ("1_ne_check.txt");
if (empty($proxies))
{
    exit(1);
}
$proxies_out = array();
$mc = curl_multi_init ();
for ($thread_no = 0; $thread_no<count ($proxies); $thread_no++)
{
$c [$thread_no] = curl_init ();
curl_setopt ($c [$thread_no], CURLOPT_URL, "http://google.com");
curl_setopt ($c [$thread_no], CURLOPT_HEADER, 0);
curl_setopt ($c [$thread_no], CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($c [$thread_no], CURLOPT_CONNECTTIMEOUT, 5);
curl_setopt ($c [$thread_no], CURLOPT_TIMEOUT, 10);
curl_setopt ($c [$thread_no], CURLOPT_PROXY, trim ($proxies [$thread_no]));
curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);
curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5_HOSTNAME);
curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_HTTPS);
curl_multi_add_handle ($mc, $c [$thread_no]);
}
 
do {
while (($execrun = curl_multi_exec ($mc, $running)) == CURLM_CALL_MULTI_PERFORM);
if ($execrun != CURLM_OK) break;
while ($done = curl_multi_info_read ($mc))
{
$info = curl_getinfo ($done ['handle']);
if ($info ['http_code'] == 301) {
echo trim ($proxies [array_search ($done['handle'], $c)])."\r\n";
$proxies_out[trim($proxies[array_search($done['handle'], $c)])] = trim($proxies[array_search($done['handle'], $c)]);
}
curl_multi_remove_handle ($mc, $done ['handle']);
}
} while ($running);
curl_multi_close ($mc);
file_put_contents("2_results.txt", implode("\r\n", $proxies_out));
?>
</code>

[Sergej]

Михаил Компас, должно работать, curl_multi_init вы указали.

[Михаил Компас]

Где-то в коде ошибка. Какой же в коде нюанс не дает сохранять только socks5 и https ?

Проверил только что, но всё равно выдаёт только http и https прокси:

2_results.txt

36.80.160.237:8080
36.76.149.57:8080
45.14.137.63:8080
36.76.221.55:8888
200.89.178.225:3128
180.252.95.189:8080
118.99.88.29:3128
124.122.231.59:8080
134.236.160.130:8080
101.109.58.45:8080
178.128.56.140:8989
180.245.186.212:8080
180.246.248.115:8080
124.121.153.115:8080
36.90.135.47:8080
187.131.140.94:8080
124.121.124.20:8080
116.58.247.135:8080
136.169.139.11:8080
178.130.87.135:8080
188.210.250.212:8080
148.255.159.204:999
36.68.179.170:8080
46.246.80.99:8118
183.88.131.252:8080
180.183.26.34:8080
36.83.17.184:8080
149.28.98.219:3128
58.8.195.53:8213
45.77.113.182:3128
182.253.168.162:3128
5.255.25.198:9090
125.162.117.238:8080

101.108.127.3:8080
5.255.18.18:8080
171.101.130.45:8080
178.93.30.220:59341
109.111.139.4:53281
178.252.80.226:35566
213.246.7.118:8080
49.49.73.5:8080
1.0.180.62:8080
187.190.255.158:999
31.204.101.85:53281
88.135.90.252:8080
160.0.219.233:8080
134.35.46.58:9090
125.160.129.221:8080
165.255.207.71:8080
113.53.145.115:8080
45.32.123.145:3128
125.25.89.140:8080
166.98.140.50:8080
170.247.202.131:8080
36.90.164.166:3128
165.255.97.235:8080
117.204.253.120:8080
46.246.63.17:8118
101.109.131.3:8080
159.192.158.106:8080
91.215.195.143:34414
183.89.144.120:8080
36.78.123.240:8080
178.213.130.101:52658
124.122.9.91:8213
125.166.231.99:8080
190.183.244.199:999
128.199.252.41:44344
36.90.58.87:8080
180.210.201.57:3130
34.249.53.25:8080
183.89.47.200:8080
178.93.28.171:44432
125.24.131.61:8080
180.248.103.24:8080
102.165.69.88:8080
177.41.73.173:8080
183.88.62.213:8213
118.174.46.162:8080
5.167.11.176:8080
177.73.54.110:8080
128.199.251.160:44344
183.88.130.65:8080
124.121.239.239:8080
185.64.209.155:53281
165.22.106.66:44344
61.7.132.170:8080
14.207.207.228:8080
87.202.18.195:8080
101.109.36.207:8080
125.162.194.151:8080
78.85.176.7:8080
182.253.173.138:8080
36.90.185.228:8081
139.5.133.158:8080
36.88.12.85:8080
103.220.47.113:8080
116.58.239.28:53281
188.209.239.181:9090

[zlo1]

Михаил Компас,

curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);
curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5_HOSTNAME);
curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_HTTPS);

последующее определение CURLOPT_PROXYTYPE отменяет предыдущие

совет
curl multi лучше не использовать, многоточечные чекеры реализуются с помощью fork(ов)

[Михаил Компас]

zlo1, добавил в одно:

<?php
$proxies = file ("1_ne_check.txt");
if (empty($proxies))
{
    exit(1);
}
$proxies_out = array();
$mc = curl_multi_init ();
for ($thread_no = 0; $thread_no<count ($proxies); $thread_no++)
{
$c [$thread_no] = curl_init ();
curl_setopt ($c [$thread_no], CURLOPT_URL, "http://google.com");
curl_setopt ($c [$thread_no], CURLOPT_HEADER, 0);
curl_setopt ($c [$thread_no], CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($c [$thread_no], CURLOPT_CONNECTTIMEOUT, 5);
curl_setopt ($c [$thread_no], CURLOPT_TIMEOUT, 10);
curl_setopt ($c [$thread_no], CURLOPT_PROXY, trim ($proxies [$thread_no]));
curl_setopt($c[$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_HTTPS, CURLPROXY_SOCKS5_HOSTNAME, CURLPROXY_SOCKS5);
curl_multi_add_handle ($mc, $c [$thread_no]);
}
 
do {
while (($execrun = curl_multi_exec ($mc, $running)) == CURLM_CALL_MULTI_PERFORM);
if ($execrun != CURLM_OK) break;
while ($done = curl_multi_info_read ($mc))
{
$info = curl_getinfo ($done ['handle']);
if ($info ['http_code'] == 301) {
echo trim ($proxies [array_search ($done['handle'], $c)])."\r\n";
$proxies_out[trim($proxies[array_search($done['handle'], $c)])] = trim($proxies[array_search($done['handle'], $c)]);
}
curl_multi_remove_handle ($mc, $done ['handle']);
}
} while ($running);
curl_multi_close ($mc);
file_put_contents("2_results.txt", implode("\r\n", $proxies_out));
?>

[zlo1]

curl за вас перебирать тип прокси не будет, т.е. опция CURLOPT_PROXYTYPE поддерживает только один тип прокси

[Михаил Компас]

Так может в рамках одного скрипта сделать, чтоб скрипт сначала
проходил список с параметром

curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);

и сохранял в файл
Затем по тому же исходному списку проходил с параметром

curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_HTTPS);

и сохранял в файл, но не затирая результаты первого сохранения, а вставлял свои результаты ниже первых результатов.

затем всё тоже самое для:

curl_setopt ($c [$thread_no], CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5_HOSTNAME);

Так работать будет?

[zlo1]

Михаил Компас, прокси неможет на одном и том же порту иметь разные типы
т.е из последующих проверок на тип можно исключить рабочие прокси

[Михаил Компас]

zlo1 Да, я знаю что тип прокси определяется портом и что определенному типу проксей соответствует определенный порт.

И что, например у прокси типа socks5 - список таких портов ОГРОМЕН!, так же огромен список портов и у других типов проксей - http(s), сокс4(а)

У хотел всю кашу проксей, которая есть в файле 1_ne_check.txt (в котором в перемешку есть все типы проксей), пройти их поочередно 2 раза...... двумя скриптами. Сначала скриптом с параметром CURLPROXY_SOCKS5 , затем скриптом с параметром CURLPROXY_HTTPS.

Таким образом, каждый скрипт со своим параметром будет выдерать только свой тип прокси из файла 1_ne_check.txt и 2 этих скрипта буду сохранять в конец файла 2_results.txt прокси только своего типа.
Прошу прощения за мою неграмотность в PHP и curl_multi в частности).

[Михаил Компас]

zlo1 или же это лишние костыли? Подскажите пожалуйста куда копать? Я только начинаю изучать php)