Есть ли http-proxy для http-proxy?

Question

[synapse_people]

Здравствуйте!
Необходимо поднять локальный прокси сервер (порядка 240 HTTP (!) прокси), которые бы принимали на себя трафик и редеректили бы его на другой прокси сервер.. Есть ли готовые пакеты для этого?
Т.е. задача:
-прокси трафика через себя на другой прокси сервер
-добавить/удалить заголовки HTTP (особенно интересуют удаление CORS + CSP)
-удаленные прокси (выходящие) работают по логин+пас, а локальные не должны их запрашивать.
Запуск может быть примерно такой (мне примерно так видится):

proxyproxy --bind=http://localhost:8888 --remote=http://user:pass@external_proxy_server:8080 --remove-header-csp=true

Подскажите, плиз
Конфиг нужно генерить на лету, пакет желательно в виде бинарников, а не какой-то тяжелый системный И НЕ NODE JS!!!

Answer 1

[Иван Шумов]

Haproxy. Разворачивать через ansible

Comments

[synapse_people]

слишком сложно
помоему
?

[Иван Шумов]

synapse_people, у тебя 240 прокси.
1. Haproxy очень прост в конфигурации
2. Ты что, руками хочешь это настраивать?

Я дал сейчас гарантированный и довольно простой вариант. Даже без навыков за денёк модно справиться

[synapse_people]

Иван Шумов, я хочу динамически их запускать
А haproxy умеет отрезать CSP? ( или создать псевдо урл на разрешенных адресах , который бы пересылал трафик на другой сервер ?)

[Иван Шумов]

synapse_people, haproxy это прокси и очень хороший. Умеет много чего - идёшь к ним на сайт и тихо офигеваешь от возможностей

[synapse_people]

Иван Шумов, ок ща гляну

[synapse_people]

Иван Шумов, а он умеет работать в режиме ssl всех сайтов?
вот squid может ssl bump делать
т.к. не удается отрезать CSP заголовок без расшифровки трафика HTTPs
и свои адреса сделать не получится по той же причине

[Иван Шумов]

synapse_people, он умеет работать с ssl. Вы вообще были у него в документации?

[Иван Шумов]

synapse_people, прокси разбивает поток траффика на 2 части - между клиентом и прокси и прокси - ориджин. Вопрос только в том какие сертификаты вы собираетесь на него ставить)))

[synapse_people]

Иван Шумов, ну я самогенеренный поставил через ssl crt, обычные http запросы работают..
а SSL - не доверяют (установил ему 1 серт, затем в браузере ввел адрес HTTPs-порт прокси сервера haproxy), я так понимаю что сертификат не совпадает с тем, что должен выдавать сайт или что?
подскажите, плиз

[synapse_people]

Иван Шумов, по сути проблема в 1 часте: между браузером и инстансом HAPROXY...

[Иван Шумов]

synapse_people, то что вы делаете называется men in the middle attack. Это, вообще, наказуемо)

[synapse_people]

Иван Шумов, у меня есть куча андроид виртуалок и селениум интстансов, хотелось бы запускать прозрачно с них трафик, то есть (1 хром+1 андроид)=1 локальный прокси.
А локальный прокси уже направляет трафик дальше через другой внешний прокси.
я не собираюсь их в сеть показывать и воровать чужой траф

[Иван Шумов]

synapse_people, у меня складывается ощущение что вы проблему как-то не с того края решать стали. Вероятно про прокси вы правильно подумали, но только как-то перегибает палку. Зачем удалять cors для этой задачи если его надо грамотно настраивать? То же и с csp. Зачем вам 240 прокси? У вас не похоже что хайлоад, а значит что вас и одного прокси хватит(если мы про сервера).

Нарисуйте схему взаимодействия всей вашей архитектуры и приложите в задачу. И напишите обязательно для чего это вам. Возможно все гораздо проще чем вы думаете

[synapse_people]

Иван Шумов, просто есть 240 пар андроид+хром, сейчас они работают с 1 ип все, нужно каждой машине свой прокси установить внешний (а значит использовать 1 порт для форвардинга на локал хосте)..
Селениум поддерживает хром прокси с авторизацией через костыль в виде расширения, то вот только проблема в том, что окно авторизации вылетает еще до момента как расширение успевает активироватся (баг в хроме) и блокирует работу всего браузера далее...
Я подумал, было бы не плохо сделать кучу локальных прокси. Далее, сервис (сайт https), который автоматизиуем, установил жесткие политики CSP+CORS, которые также вырезаются другим расширением в хроме. Я подумал, это было бы тоже неплохо переложить на прокси..
В общем, сейчас так:
- Запускается селениум, ставятся расширения для установки прокси, авторизации прокси и удаления CSP, затем внедряется JS в страницу, который переодически выполняет на ней действия и при помощи fetch передает на внешний сервер (отсюда и была идея, чтобы сделать какой-то адрес вида https://сервис/sdfgdsfsdfsdf) - и чтобы прокси его проксировал на наш веб сервер, а остальное на реальный сервер..
Андроид виртуалка должна полностью через прокси работать, а она аналогично криво работает с логин+пароль , зато отлично работает без авторизации....
Просто нужно 1м прокси убить два зайца: и в андроид сеть пробросить через прокси, и для браузера сделать прокси, который убирает CSP (или дает псевдо-адрес для редеректа трафика на наш сервер, который вписывается в политику CSP)

[synapse_people]

Иван Шумов, автоматизируемый сервис не наш, мы только обвязки на него пилим
и надежнее, чтобы каждая связка имела свой ип

[Иван Шумов]

synapse_people, и вас блокируют просто по тому что это все очень легко отследить со стороны сервиса и это (если владельцы не полные идиоты) нарушает правила пользования. Вы бы пообщались с сервисом и спросили как вы можете совместно закрыть вашу потребность

[synapse_people]

Иван Шумов, реально таких пар будет очень много, более 5к на каждой машине

[synapse_people]

Иван Шумов, да они на нас срать хотели, извините:)

[synapse_people]

Иван Шумов, и апи никогда не сделают

[synapse_people]

Иван Шумов, вот и приходится "мутить"

[Иван Шумов]

synapse_people, меняйте сервис. Вы творите какую-то дичь