Как лучше сделать прокси чекер?

Question

[Uniq]

Всем привет озадачился написать прокси чекер.

Смотрел разные статьи, попробовал сделать на php - ужас мультипоточность конечно мертвая тема с кулом,
попробовал сделать на PERL с библиотеками LWP::UserAgent, LWP::Protocol::socks мультипоточность крутая работает на ура но очень часто отдает ответ 200 и регулярка срабатывает на false гугл каптча и яндекс каптча а в итоге прокси вообще редиректит или отдает 403

хочу совет спеца по библиотекам и на чем лучше это все оформить.

Что хочу получить в итоге:

1. Мультипоточность
   
2. Проверка SOCKS4 SOCKS5 HTTP HTTPS
   
3. GET POST
   
4. REFERE
   
5. SPEED
   
6. PING
   
7. GOOGLE YANDEX
   

Comments

[Roman K]

Что?
Добавьте подробности в ваш вопрос

[Uniq]

Roman Kitaev:
я ведь написал что перл отдает 200 часто когда на самом деле 403 или другие коды HTTP еще и видит регуляркой капчу хотя ее там нет потому что прокси неработает

[Uniq]

на питоне не пробовал и на ноде вот интерисуюсь

[sim3x]

Вадим Тимофеев:
вы же понимаете, что нужно проверять как проходят запросы _через_ прокси на ваш или надежный ресурс, который все время отдает один и тот же ответ?

[Uniq]

sim3x: как тогда в перле получить 1 запросом ping speed + POST

[sim3x]

Вадим Тимофеев:
Зачем?

[Uniq]

sim3x: чтобы не делать лишние движения на чек : делаю чек прокси на адресс он принемает куки пост гет рефа и отдает мне - как в этом же запросе получить пинг и скорость прокси

[sim3x]

Вадим Тимофеев:
Пинг до прокси модет быть 10мс
Задержка на прокси до 30сек

Економия даже не на спичках

[Uniq]

sim3x: Эмм как получить задержу?

[sim3x]

Вадим Тимофеев:

разница между временем начала запроса и таймштампом с вашего сервиса

[parserpro]

Вадим Тимофеев: Perl ничего не отдает. 200 вам приходит от сервера. Почему - хз. Возможно так защищаются от желающих спарсить контент.

[parserpro]

Вадим Тимофеев: Язык вам ничего не даст. Основные задержки будут в сети.
Для Прела рекомендую AnyEvent::HTTP - я им весь Яндекс.Маркет вытягивал.
Прокси использовал платные, для серьезной работы бесплатные - гемор и потеря времени.
И да - надо чекать саму страницу, что в ответ приходит - там может быть полный бред, несмотря на 200 код.

[Uniq]

parserpro: дело то как раз в том что бывает приходит ответ 200 проверка страници соответствует регуляркам а на самом деле прокси редиректит фиг знает куда

[parserpro]

дело то как раз в том что бывает приходит ответ 200 проверка страници соответствует регуляркам а на самом деле прокси редиректит фиг знает куда

Я плохо понимаю это замечание. Если "фиг знает куда", то правильный ответ не приходит и регулярки не сработают. Код 200 - не показатель, ему верить нельзя. Т.е. это необходимое условие, но не достаточное.

Answer 1

[GremniX]

Посмотрите в сторону Golang. На гитхабе можно найти готовые примеры https://github.com/ilijamt/proxy-checker

Answer 2

[TheAthlete]

Если знаете Perl, то советую посмотреть в сторону AnyEvent::HTTP либо Mojo::UserAgent
Пример использования AnyEvent::HTTP можно посмотреть в моей статье Функциональное программирование на Perl в примерах Здесь используется не многопоточность, а неблокирующее программирование с мультиплексированием ввода-вывода (epoll, kqueue, iocp)