Искал я бесплатные прокси, добавил около 20ти сайтов с которых их брал, в общем в день собиралось около 20000 прокси, из них рабочих 4000-5000.
Далее собирая данные с других ресурсов я обнаружил что они повторяются, не удивительно конечно...
И тут я решил подумать сделать велосипед - забить базу рандомно созданными ip и потом перебирать (проверять) их через свой же сервер, то есть curl запрос посылать на свой же сервер и в зависимости от ответа помечать как не рабочий или отлаживать как рабочий.
Учитывая что нужных мне портов 3 (80, 8080, 3128), в основном они используются (хотя конечно могут быть и другие), то по моим подсчетам на обработку уйдет около месяца (около 13млрд комбинаций), проверка мультизапросом по 1000 штук за 3-4сек.
Вопросы такие:
Стоит ли пробовать их собирать?
Прокси могут сейчас работать а через 5 сек не работать, если как раз в это время будет проверка то отметит что он не рабочий.
Сколько их может быть?
Если их около 100тыс то вероятность очень мала тогда их насобирать, с другой стороны если их миллионы то конечно шанс повышается.
Где их берут другие сервисы?
Ну не могут же они просто их друг у друга передирать, где-то же есть источник от куда хоть какие-то сервисы их находят...
Максимум можно напарисить "живых" пару десятков тыс.
публичные долго не живут, придется постоянно (с небольшим интервалом времени) проверять
т.к. источников прокси сотни, а проверяемых IP сотни. тыс, эта задача не из простых - потребуются ресурсы и лояльный провайдер (игнорирующий множество коннектов)
Простой
