Как раскидать запросы по разным сетевым интерфейсам?

Question

[Вячеслав Грачунов]

Собственно я тут подумал, и решил что мне нужно. Описал более точно. Но как реализовать не понимаю пока.
Дано:
1) Парсеры парсят сайты
2) Некоторые из них на phantom.js , соответственно указать интерфейс к каждому запросу, через который ходить не представляется возможным
3) Соответственно нужен прокси, чтобы такие парсеры пускать через этот прокси, а уже прокси рандомно раскидывал запросы по разным tun-интерфейсам
4) tun-интерфейсы постоянны количеством, но их ip регулярно меняются (всего 200+ ip, работает одновременно 15)
5) Как реализовать и на чем?

Answer 1

[Владимир Дубровин]

В 3proxy

internal 127.0.0.1
auth iponly
allow *
parent 66 extip $/path/to-file/with/IP1 0
parent 66 extip $/path/to-file/with/IP2 0
parent 67 extip $/path/to-file/with/IP3 0
...
parent 67 extip $/path/to-file/with/IP15 0
proxy -i127.0.0.1 -p3128

использует в качестве внешнего IP адреса адрес из соответствующего файла с вероятность 6.6 / 6.7 %. (сумма весов должна равняться 1000).

Comments

[Вячеслав Грачунов]

Круто! Спасибо. Почти что нужно. Вот только что сделать с тем, что набор внешних ip в каждый момент времени разный может быть?

[Владимир Дубровин]

Вячеслав Грачунов: при обновлении IP адреса слать SIGUSR1 прокси

[Вячеслав Грачунов]

Владимир Дубровин: переписывать файл с ip и перезапускать прокси?

[Владимир Дубровин]

Вячеслав Грачунов: да, SIGUSR1 заставляет пересчитать конфигурацию.

[Вячеслав Грачунов]

Понял, спасибо!

[Вячеслав Грачунов]

После SIGUSR1 получаю
Failed to connect to 127.0.0.1 port 3128: Connection refused
Ничего не пересчитывает
Есть другой способ?

[Владимир Дубровин]

Вячеслав Грачунов: Укажите командой config путь к конфигу, убедитесь что прокси может его перечитать (например что он доступен из chroot или после suid). Можно через monitor или через веб-интерфейс (admin), но конфиг все равно должен быть доступен.

[Вячеслав Грачунов]

Владимир Дубровин: Спасибо!

[Вячеслав Грачунов]

А может ли быть число после parent дробным? Пишу
parent 0.182818 http 185.106.*.* 8085
5500 внешних прокси
Мне выдает сообщение

Chaining error: bad chain weight 0 line 15
Command: 'parent' failed with code 3, line 15

[Владимир Дубровин]

Вячеслав Грачунов: нет, только целым.
Можно сделать каскад - например разбить на 6 прокси с ~1000 парентами каждый и один из 6 тоже выбирать рандомно. Но в целом это костыль, для работы с большими списками прокси лучше использовать специальные тулзы, т.к. там еще за доступностью надо следить, убирать "мертвые".