• Как установить и запустить проект на python?

    mik777em
    @mik777em Автор вопроса
    Спасибо вроде разобрался с запуском сервера и скрипт на парсинг и чек прокси заработал.

    Подскажите как запустить его за непрерывную работу и настроить параметра тип прокси, страны (ГЕО) прокси, с постоянным сохранением (перезаписью) результатов в общедоступный txt файл? В инструкции такого нет вроде: github
  • Как установить и запустить проект на python?

    mik777em
    @mik777em Автор вопроса
    @dmshar
    уже поставил питон 3.7.7 а при установке aiohttp он все равно смотрит на мой старый питон 2.7.12
    5e9787f397615582980856.png

    Как это исправить?
  • Как установить и запустить проект на python?

    mik777em
    @mik777em Автор вопроса
    Python 3.5.2 уже стоит:
    5e95c90b740db313751082.png

    устанавливаю pip
    root@vm1103388:~# sudo apt-get update && sudo apt-get -y upgrade
    
    root@vm1103388:~#sudo apt-get install python-pip

    Получаю:
    5e95c8cb52af2181739683.png

    Ставлю aiohttp
    root@vm1103388:~# pip install aiohttp
    получаю просьбу обновить
    5e95ca53b438b713064749.png

    Обновляю вводя:
    root@vm1103388:~# pip install upgrade pip
    скрин обновления:
    5e95caccc84b8671844876.png

    Ставлю aiohttp
    root@vm1103388:~# pip install aiohttp

    Получаю ошибку что у меня стоит python 2.7.12 , а требуется python версии 3.4.2 и выше, хотя Python 3.5.2 уже стоит (см самый верхний скриншот)
    5e95cba1f35bc085528721.png

    Как решить проблему чтоб установить aiohttp использую тот python, который уже стоит (3.5.2) ?
  • Где взять многопоточный python прокси чекер?

    mik777em
    @mik777em Автор вопроса
    там можно получить список проксей , типа апи ссылка? то что ты скинул, там вроде только поштучно дают
  • Как распаковать 70К файлов .ZIP и автоматически переносить их на другой локальный диск?

    mik777em
    @mik777em Автор вопроса
    Проблема в том что у этих zip архивов произвольные названия и внутри у всех файлов произвольные названия, кроме папки model
  • Почему PHP скрипт удаляет не все дубликаты строки?

    mik777em
    @mik777em Автор вопроса
    nokimaro, работает норм, дублей нет, но есть склейка в результатах , причем она через несколько десятков строк появляется.

    Вот результат, там дублей нет, есть склейка. Как убрать склейку?

    результат норм! но есть склейка

    109.238.229.233:4145
    109.238.230.42:4145
    128.199.208.93:47006
    128.199.208.93:53866
    130.0.25.194:58083
    168.90.92.34:4145
    178.132.218.126:4145
    178.134.152.46:48553
    178.134.71.138:37590
    178.134.71.146:4145
    185.120.38.103:4145
    185.139.56.133:4145
    185.174.210.228:4145
    185.186.81.250:4145
    185.188.216.93:4145
    185.188.218.10:56081
    185.189.208.145:51693
    185.189.208.177:51693
    185.189.208.185:61885
    185.189.208.186:51693
    185.33.34.76:42293
    185.33.34.76:51604
    185.85.152.241:58083
    185.85.152.243:1080
    186.188.109.5:999
    186.24.12.114:8181
    186.24.13.82:59311
    186.24.50.164:4145
    186.24.6.36:59311
    186.89.174.192:8080
    186.90.154.176:8080
    186.92.192.93:8080
    186.92.52.222:3128
    186.92.72.33:3128
    186.93.50.57:8080
    186.94.214.56:8080
    188.129.161.55:47785
    188.169.142.196:4145
    190.142.168.58:4145
    190.142.57.27:1080
    190.198.18.115:8080
    190.198.28.95:8080
    190.198.66.7:8080
    190.200.134.246:4145
    190.200.166.147:4145
    190.200.84.104:4145
    190.202.198.56:8080
    190.203.106.30:4145
    190.207.201.232:8080
    190.217.1.121:55170
    190.217.1.137:55170
    190.217.1.33:55170
    190.217.1.53:55170
    190.217.7.77:999
    190.36.122.226:4145
    190.36.37.182:8080
    190.38.221.180:8080
    190.73.43.54:8080
    190.75.178.177:8080
    190.75.2.162:8080
    190.75.26.92:8080
    190.75.55.70:8080
    190.78.0.183:8080
    190.78.123.37:3128
    190.78.184.207:8080
    190.97.254.251:51327
    191.97.19.78:999
    195.170.15.66:59738
    2.87.116.68:8080
    200.8.217.153:8080
    200.82.145.154:4145
    200.82.147.224:4145200.84.176.124:8080
    200.84.176.124:8080
    200.93.82.192:8080
    201.249.190.235:3128
    212.205.112.162:38554
    31.146.223.218:56308
    31.146.31.182:3128
    31.192.42.150:32269
    37.26.85.98:4145
    37.26.86.206:4145
    37.75.128.174:47254
    37.75.129.210:38944
    37.75.135.161:43443
    46.183.123.233:57826
    46.183.123.241:57826
    46.183.124.129:57826
    46.183.124.162:57826
    46.190.47.253:4145
    46.198.143.140:57375
    46.49.121.187:46354
    46.99.145.149:8291
    46.99.254.19:8291
    46.99.255.235:8080
    5.178.217.227:31019
    5.206.232.190:56212
    5.206.236.45:1080
    62.103.25.184:35798
    62.103.74.230:35694
    62.217.97.166:30586
    62.217.97.174:30586
    77.242.26.43:4145
    77.242.26.45:8080
    77.247.88.10:41757
    77.69.23.183:4145
    79.106.108.110:57960
    79.106.115.105:4145
    79.106.165.220:58171
    79.106.165.238:39983
    79.106.165.30:50194
    79.106.166.154:1080
    79.106.224.231:58437
    79.106.229.51:4145
    79.106.34.26:4145
    79.106.34.27:4145
    79.106.34.5:4145
    79.106.34.9:4145
    79.106.35.138:1080
    79.106.35.142:1080
    79.106.35.197:1080
    79.106.35.201:1080
    79.106.35.20:1080
    79.106.35.210:1080
    79.106.35.224:1080
    79.106.35.253:1080
    79.106.35.254:1080
    79.106.35.61:1080
    79.106.35.82:4145
    79.106.36.2:1080
    79.106.66.25:11337
    79.129.117.118:46400
    79.129.167.50:4145
    79.129.172.184:4145
    79.129.98.181:1080
    79.130.222.252:4145
    79.130.38.71:4145
    79.131.157.101:4145
    79.131.163.200:4145
    79.131.167.70:4145
    79.131.200.100:4145
    79.131.52.154:4145
    79.174.24.137:4145
    80.241.253.210:4145
    80.78.70.9:4145
    80.78.73.40:4145
    80.78.76.112:1080
    80.78.76.81:40814
    80.90.87.186:57544
    80.90.88.147:32850
    80.91.125.99:4145
    80.92.181.3:44550
    82.114.72.218:4145
    82.114.75.104:4145
    82.114.81.129:4145
    82.114.82.90:56068
    82.114.90.90:4145
    82.114.94.68:59311
    82.114.94.69:59311
    85.117.56.73:4145
    85.117.56.74:4145
    85.117.56.74:414585.117.56.74:4145
    85.117.60.126:4145
    85.117.62.202:61885
    85.117.63.98:51693
    85.72.168.104:4145
    85.72.168.61:4145
    85.72.220.221:4145
    85.72.32.44:44550
    85.74.162.240:4145
    85.74.163.251:4145
    85.74.89.216:4145
    85.75.174.205:8080
    85.75.232.102:4145
    85.75.60.99:8080
    89.232.34.161:4145
    91.132.174.70:4145
    91.187.116.232:53526
    92.241.66.138:4145
    92.241.92.218:14888
    92.241.93.154:4145
    92.51.89.126:44659
    94.130.73.22:1549
    94.130.73.27:13057
    94.130.73.27:13723
    94.130.73.29:14217
    94.130.73.29:14223
    94.130.73.29:14751
    94.130.73.29:14806
    94.130.73.29:15107
    94.130.73.30:22005
    94.130.73.30:22450
    94.65.255.158:4145
    95.104.54.227:58476
    95.137.240.30:55413
  • Почему PHP скрипт удаляет не все дубликаты строки?

    mik777em
    @mik777em Автор вопроса
    Правильно исправил?(см код ниже). Я добавил ваш код, но вот этот код я закомментил, т к он мне склеивает в файле txt все результаты в одну строчку: //$file = array_map('trim', $file); // <---------------

    <?php
    $file= file ('sbor_proxy_s_dybliami.txt'); // файл на входе
    sort ($file); // сортируем по алфавиту
    //$file = array_map('trim', $file); // <---------------
    $file = array_unique($file); // убираем повторы
    foreach($file as $val){
    $end .= $val ;
    }
    $out=fopen('gotovo_vse_sellery_bezdybley.txt','w'); // файл на выходе
    fwrite($out,$end);
    fclose($out);
    ?>


    Использовал полученный код php для удаления дубликатов, но все равно дубликаты остаются, только что проверил из 194 строк , в них 65 строк - это дубликаты.

    также есть склейка нескольких строк (см скриншот ниже)
    5e820626ad371974052143.jpeg
  • Как спарсить в php скрипте контент с несколько url и удалить дубликаты?

    mik777em
    @mik777em Автор вопроса
    nokimaro, как поставить задержку между запросами в url?

    т к есть подозрения что сайт блочит слишком частое (через пару микросекунд) обраащение к его URL-кам

    например задержку в 5 секунд, для меня такая задержка межу запросами к каждой url - будет норм!
  • Почему PHP скрипт парсит прокси только с первых двух url?

    mik777em
    @mik777em Автор вопроса
    как поставить задержку между запросами в url?

    например задержку в 5 секунд, для меня такая задержка межу запросами к каждой url - будет норм!
  • Как спарсить в php скрипте контент с несколько url и удалить дубликаты?

    mik777em
    @mik777em Автор вопроса
    Тогда почему я получаю данные только с первых двух url? Я даже пробовал менять местами url -ки!

    Возможно код удаляет дубликаты и вместе с ними удаляет и данные из нижних ссылок.

    Что в коде нужно "закоментировать" чтоб скрипт парсил данные с всех url но не удалял дубликаты? Хочу понять почему исчезают данные с других url.
  • Как спарсить в php скрипте контент с несколько url и удалить дубликаты?

    mik777em
    @mik777em Автор вопроса
    Сделал исправление, это помогло убрать склейку. Но скрипт так же берет и парсит данные только с первых двух указанных url.

    Где же ошибка в этом коде? :

    <?php
    $urls = [
    "https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=be&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=az&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=bw&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=hn&limit=0",
    "https://api.best-proxies.ru/proxylist.txt?key=c58*************60b1&country=am&limit=0",
    
    
    
    
    
    	
    ];
    
    $string = "";
    foreach($urls as $url)
    {
        $string .= "\n".file_get_contents($url);
    }
    
    $string_array = explode("\n", $string);
    $final_array = array_unique($string_array);
    $final_string = implode("\n", $final_array);
    
    echo $final_string;
    ?>
  • Как спарсить в php скрипте контент с несколько url и удалить дубликаты?

    mik777em
    @mik777em Автор вопроса
    Ваш код работает - парсит, убирает дубли, но парсит только с первых двух url , какие ссылки ставлю первыми с таких и парсит инфу.
    То есть в данном примере берет инфу только с Австрии (at) и Боливии (bo)
    $urls = [
        "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",
        "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=bo&limit=0",
        "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",


    и еще почему то в одном месте склеиваются две строчки.

    Кстати, склеиваются они как раз в том месте, где заканчивается результаты парсинга с одного url и начинаются результаты с второй url (см. скриншот ниже)
    Что нужно в коде исправить чтоб не было "склейки"?

    5e7e7d92b5eac462093286.jpeg

    Ваш код использую, в нем где то и есть эти 2 ошибки:
    <?php
    $urls = [
        "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",
        "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=bo&limit=0",
        "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0",
    ];
    
    $string = "";
    foreach($urls as $url)
    {
        $string .= file_get_contents($url);
    }
    
    $string_array = explode("\n", $string);
    $final_array = array_unique($string_array);
    $final_string = implode("\n", $final_array);
    
    echo $final_string;
  • Как спарсить в php скрипте контент с несколько url и удалить дубликаты?

    mik777em
    @mik777em Автор вопроса
    Вот так правильно поставил?
    Если есть где то ошибка, то пожалуйста поправьте нуба)

    <?php
    function Parse ($p1, $p2, $p3) {
      
      
    }
    
    $url1 = "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0";
    $url2 = "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=bo&limit=0";
    $url3 = "https://api.best-proxies.ru/proxylist.txt?key=c5842ced830******555e0460b1&country=at&limit=0";
    
    $string = file_get_contents($url1);
    $string = file_get_content($url2);
    $string = file_get_content($url3);
    
    $string_array = explode("\n", $string);
    
    $final_array = array_unique($string_array);
    
    $final_string = implode("\n", $final_array);
    
    echo $final_string;
    
    
    
    ?>
  • Как спарсить в php скрипте контент с несколько url и удалить дубликаты?

    mik777em
    @mik777em Автор вопроса
    убрал пробелы, но с двумя url-ками, скрипт парсит только данные с первой url, вторую url он как будто не видит.

    Правильно ли я прописал в строке для парсинга все знаки разделения:
    $string = file_get_contents('ЮРЛ1' , 'ЮРЛ2');

    В чём ошибка?
  • Как сделать в php парсере выдачу данных построчно?

    mik777em
    @mik777em Автор вопроса
    спасибо. мне как раз нужно было чтоб в браузере выдавало построчно.
    echo nl2br($String); - помогло!
  • Какая рекламная сеть стоит на этой странице сайта?

    mik777em
    @mik777em Автор вопроса
    Предполагаю что какая-то рекламная сеть\сервис по накрутке просмотров на ютубролики, владеет большим количеством подобных сайтов с разным количеством трафика на таких сайтах ( от 0 посетителей в сутки до большого кол-ва 9999...)

    Да, трафика нет на сайте, но тогда для чего большое количество ютуб видео публикуется на этом сайте в разделе "Реклама" ? И что за сервис\рекл сеть это делает?
  • Youtube списывает просмотры на ipv6 проксях. Как это решить?

    mik777em
    @mik777em Автор вопроса
    тип прокси который я использую в ipv6 - https.

    Как считаете проблема решится если использовать тип прокси - SOCKS5 ?) отличие то в них если я не ошибаюсь только в анонимности)
  • Почему не добавляется ярлык Web App сайта на экран Android телефона?

    mik777em
    @mik777em Автор вопроса
    Подскажите, как запретить кешировать manifest.json ?