Как создать прокси сервер?

Question

[Q Q]

Привет.

Для парсинга сайта, дабы менять IP как "перчатки" хочу создать свой прокси сервер.
Есть VPS с десятком купленных IP, есть какой-то мануал, как создать прокси с авторизацией и прикрутить все IP на него?

Каким образом происходит общение с сервером, по какому методу POST, GET, PUT ... ? Т.е. каким образом он берет URL и открывает через себя? Ведь если добавить прокси сервер в любую программу (например wget), требуется только IP:PORT, и не требуется никаких дополнительных параметров (?url=google.com).

Answer 1

[Rou1997]

сли добавить прокси сервер в любую программу (например wget), требуется только IP:PORT

Потому что авторизация и прочее скрыто в самой библиотеке, которая реализует HTTP.

не требуется никаких дополнительных параметров (?url=google.com).

Не всегда, можно и анонимайзер сделать, там именно так будет.

Answer 2

[15432]

Почти под вашу задачу я уже делал свой прокси сервер (много IP на одном сервере, на какой IP пришел запрос, оттуда и уходит, возможность установки пароля, в остальном ничего лишнего)
https://github.com/cuwo/loxy_proxy

Если кратко - прокси принимает TCP соединение, получает HTTP запрос, парсит его, подключается к сайту, указанному в запросе и перенаправляет данные туда-обратно

Comments

[Q Q]

Мануал по установке бы.

[15432]

Q Q: хм. скомпилировать и запустить. из параметров запуска - TCP порт (по умолчанию 8080), имя и пароль для авторизации (по умолчанию - отсутствует).
Я запускаю фоновым процессом через nohup, чтобы оставался запущен после разрыва SSH сессии. "Закрываю" через pkill

Уверен, если вы собирались создавать собственный прокси, компилировать вы умеете. (вызвать make)