Squid: почему маршрутизация работает только для доменов?

Question

[maksimwork1980]

Всем добрый день, попытаюсь описать подробно, но могу предоставить ещё другую информацию
Задача: настроить роутинг прокси сервера так, что бы по acl Прокси-сервер выводил в интернет через разные сетевые интерфейсы (enp1s0 и tun0) в зависимости от домена веб-сайта или IP-адреса.
Схема:


Суть решения: узнал, что можно в Сервер №1 вместо того, что бы перенаправлять на разные сетевые интерфейсы можно перенаправлять на другой Прокси-сервер. Для этого нужно Сервер №2 сделать как узел кеша Squid. А в конфигурации Сервер №1 добавить параметр cache_peer_access.

Что работает: прокси сервер полностью успешно направляет клиента на разные сетевые интерфейсы в зависимости от домена.
Что не работает: прокси сервер всегда направляет на сетевой интерфейс tun0, когда в него поступают IP, а не домены.

Конфигурационные файлы Squid:

Сервер №1

http_port 34004

acl all src 0.0.0.0/0.0.0.0
http_access allow all

forwarded_for delete

# IP, которые не должны идти через Сервер №2
acl novpn_ip4 localip 10.8.0.1/24

# Домены, которые не должны идти через Сервер №2
acl novpn_domain dstdomain .ru
acl novpn_domain dstdomain .vk.com
acl novpn_domain dstdomain .archlinux.org

cache_peer 10.8.1.1 parent 34004 0 default

never_direct allow !novpn_domain
never_direct allow !novpn_ip4

Сервер №2

http_port 10.8.1.1:34004
# forwarded_for delete
http_access allow all

Примечение: рассматривал возможность решить данную задачу не используя узел кеша Прокси-сервер на Сервер №2, а через tcp_outgoing_address. И используя не название сетевого интерфейса, а адрес, присвоенный сетевому интерфейсу (через ifconfg). Однако тогда вообще не получится выходить через Сервер №2, выдавая Timeout.

Пример использования tcp_outgoing_address

# Нет разницы что использовать - адрес "Сервер №2" (10.8.1.1) или адрес клиента OpenVPN на "Сервер №1" (10.8.1.2) - результат один.

tcp_outgoing_address 10.8.1.1 !novpn_ip4
tcp_outgoing_address 10.8.1.1 !novpn_domain

А правильность работы Прокси-сервера для доменов проверял через сайты 2ip.ru и whatismyipaddress.com. Через IP, которые они выдают я понял, что 1-ый выходит через eps1s0, а 2-ой через tun0, что является правильным поведением.

А ещё, почему нельзя в настройках в Прокси-клиентах добавить исключение, потому что их много. А колличество исключений будет увеличиваться в будущем.

Comments

[asmelnik]

Мысли вслух:

прокси сервер всегда направляет на сетевой интерфейс tun0, когда в него поступают IP, а не домены.

Если это означает, что вы пытаетесь достучаться по адресу типа
http://1.2.3.4
То все логично

# Домены, которые не должны идти через Сервер №2
acl novpn_domain dstdomain .ru
acl novpn_domain dstdomain .vk.com
acl novpn_domain dstdomain .archlinux.org

тут домена 1.2.3.4 нет, значит и бежать за ним надо на Сервер №2....

[maksimwork1980]

asmelnik, для адреса 1.2.3.4 он и правда должен идти через Сервер №2. Но потому что его нет в списке в том же файле. Иначе бы он не должен идти через Сервер №2

# IP, которые не должны идти через Сервер №2.
acl novpn_ip4 localip 10.8.0.1/24

P.S.: забыл сказать, что пробовал вместо localip использовать src, но это не меняет ситуацию.

UPD спустя 5 минут: и дописал соотвествующую опцию, что был те адреса () не отправлялись на Сервер №2, как у доменов:
never_direct allow !novpn_ip4

[asmelnik]

# IP, которые не должны идти через Сервер №2.
acl novpn_ip4 localip 10.8.0.1/24

это правило сработает, если к вашему прокси обратится КЛИЕНТ с ИП 10.8.0.0-255, а вы как раз наоборот хотите.
Т.е. вместо localip или src должно быть в теории.....
dst !!!

Мы рассмотрим некоторые элементы, которые позволяет использовать прокси
сервер Squid, конечно же с примерами: 


* acl   имя   src   список


С помощью этого элемента (src) мы указываем IP-адрес источника, то есть
клиента от которого пришел запрос к нашему прокси серверу.

В следующем примере мы разрешим Васе Пупкину (Pupkin) и отделу
программирования (Progs) доступ к нашему прокси серверу, а всем
остальным запретим:

        acl  Progs   src    192.168.0.1-192.168.0.9
        acl  Pupkin  src    192.168.0.10
        http_access  allow  Progs
        http_access  allow  Pupkin
        http_access  deny   all


* acl   имя   dst   список


Данный элемент (dst) указывает IP-адрес назначения, то есть IP-адрес
того сервера, доступ к которому желает получить клиент прокси сервера.

В следующем примере мы запретим Васе доступ к подсети 194.67.0.0/16 (к
примеру, в ней находится тот же aport.ru):

        acl  Net194   dst    194.67.0.0/16
        http_access   deny   Pupkin   Net194


* acl  имя  dstdomain  список


С помощью этого элемента (dstdomain) мы указываем домен, доступ к
которому желает получить клиент прокси сервера.

В следующем примере мы запретим Васе доступ к варезным сайтам nnm.ru и
kpnemo.ru:

        acl  SitesWarez  dstdomain  .nnm.ru  .kpnemo.ru 
        http_access   deny   Pupkin   SitesWarez

Взято с
Тык

[maksimwork1980]

asmelnik, хорошо. Я тоже задумывался ещё парочку дней назад, что дело в этом. Может быть тогда я что то упустил, поэтому попробовал как Вы предложили - поменять localip или src на dst.
Несколько раз переписал конфигурацию - не получилось.
Хорошо, вообще уберу часть с доменами и попробую самым глупым методом, но рабочим - сразу для всех 3-ёх типов адресов:

http_port 10.8.0.1:34004

acl all1 src 0.0.0.0/0.0.0.0
acl all2 dst 0.0.0.0/0.0.0.0
acl all3 localip 0.0.0.0/0.0.0.0

http_access allow all1
http_access allow all2
http_access allow all3

cache_peer 10.8.1.1 parent 34004 0 default

never_direct allow !all1
never_direct allow !all2
never_direct allow !all3

К сожалению это не работало.

[maksimwork1980]

В случае если убрать последние эти 3 строчки:

never_direct allow !all1
never_direct allow !all2
never_direct allow !all3

То тоже.

По правильному сетевому интерфейсу будет работать, только если вообще исключить узел кеширования, т.е. удалить эту строчку:
cache_peer 10.8.1.1 parent 35004 0 default

[maksimwork1980]

Минуточку, я забыл, что так делать недопустимо.

never_direct allow !all1
never_direct allow !all2
never_direct allow !all3

Я забыл тут и в примере с доменами. Согласно 1-ой строчке, всё что входит в all1 - не будет передаваться на Сервер №2, а остальное будет. Но тогда не будет идти до этих двух строчек:

never_direct allow !all2
never_direct allow !all3

Это грубая ошибка, надо вот так:

never_direct deny all1
never_direct deny all2
never_direct deny all3

С этими параметрами уже 10.8.0.1 не перенаправляется на Сервер №2, это большой прогресс

В изначальном конфиге у меня похоже было 2 ошибки - неправильную директиву использовал (src/localip вместо dst) и не правильно пользовался логикой Squid, как я написал в нескольких строчках выше:

never_direct allow !novpn_domain
never_direct allow !novpn_ip4

[maksimwork1980]

asmelnik, Всё таки нет, это самый минимальный пример не работает как нужно - 10.8.0.1 уходит на Сервер №2.

spoiler

http_port 10.8.0.1:34004

acl all1 src 0.0.0.0/0.0.0.0
acl all1 src 10.8.0.1/24
acl all1 src 10.8.0.1/24
acl all1 src 10.8.0.1/32

acl all2 dst 0.0.0.0/0.0.0.0
acl all2 dst 10.8.0.1/24
acl all2 dst 10.8.0.0/24
acl all2 dst 10.8.0.1/32

acl all3 localip 0.0.0.0/0.0.0.0
acl all3 localip 10.8.0.1/24
acl all3 localip 10.8.0.0/24
acl all3 localip 10.8.0.1/32

http_access allow all1
http_access allow all2
http_access allow all3

cache_peer 10.8.1.1 parent 34004 0 default

never_direct deny all1
never_direct deny all2
never_direct deny all3

20 минут назад я случайно поменял порт узла Кеш Прокси-сервера на неправильный, он вообще не задействовался.

[asmelnik]

По-моемому у вас бардак с правилами и недопонимание принципа работы...

Почему-то мне кажется, что например в наборе

never_direct allow !novpn_domain
never_direct allow !novpn_ip4

Второе правило просто никогда не сработает на acl novpn_ip4, т.к. уже первое выдаст для него allow.

С первого взгляда может показаться, что это эквивалент набора:

never_direct deny novpn_domain
never_direct deny novpn_ip4

Однако это не так.
в первом (вашем) варианте запрос вида http://1.2.3.4 уже на never_direct allow !novpn_domain получит allow и все.
Во втором варианте http://1.2.3.4 не попадает в acl novpn_domain, следовательно анализ пойдет дальше.

Попробуйте конфиг что-то вроде:

acl all src 0.0.0.0/0.0.0.0

# IP, которые не должны идти через Сервер №2
acl novpn_ip4 dst 10.8.0.1/24

# Домены, которые не должны идти через Сервер №2
acl novpn_domain dstdomain .ru
acl novpn_domain dstdomain .vk.com
acl novpn_domain dstdomain .archlinux.org

http_port 34004

forwarded_for delete

cache_peer 10.8.1.1 parent 34004 0 default

always_direct allow novpn_domain
always_direct allow novpn_ip4
never_direct allow all
http_access allow all

[maksimwork1980]

asmelnik, огромнейшее спасибо!
Насчёт бордака да, но вспомнил чуть раньше перед Вами, как работает allow/deny. А про src - просто посмотрел пример на документации.
Но на счёт опции always_direct - я не знал о её существовании.
Напишите своё решение в ответы, в частности конфиг.

[asmelnik]

Но на счёт опции always_direct - я не знал о её существовании.

Дока squid

never_direct is the opposite of always_direct.  Please read
	the description for always_direct if you have not already.

Перед копи-пасте кусков конфига полезно читать кто есть who :)

[maksimwork1980]

asmelnik, знаю, но я позаимствовал часть кода с cache_peer и never_direct не с оффициальной документации, а с какого то комплексного англоязычного руководства, где все писали в комментариях писали, что работает. Видимо просто не все пользуется IP маршрутизацией, лично у меня они завязаны на различных самохостинг решениях

Answer 1

[asmelnik]

По-моемому у вас бардак с правилами и недопонимание принципа работы...

Почему-то мне кажется, что например в наборе

never_direct allow !novpn_domain
never_direct allow !novpn_ip4

Второе правило просто никогда не сработает на acl novpn_ip4, т.к. уже первое выдаст для него allow.

С первого взгляда может показаться, что это эквивалент набора:

never_direct deny novpn_domain
never_direct deny novpn_ip4

Однако это не так.
в первом (вашем) варианте запрос вида http://1.2.3.4 уже на never_direct allow !novpn_domain получит allow и все.
Во втором варианте http://1.2.3.4 не попадает в acl novpn_domain, следовательно анализ пойдет дальше.

Попробуйте конфиг что-то вроде:

acl all src 0.0.0.0/0.0.0.0

# IP, которые не должны идти через Сервер №2
acl novpn_ip4 dst 10.8.0.1/24

# Домены, которые не должны идти через Сервер №2
acl novpn_domain dstdomain .ru
acl novpn_domain dstdomain .vk.com
acl novpn_domain dstdomain .archlinux.org

http_port 34004

forwarded_for delete

cache_peer 10.8.1.1 parent 34004 0 default

always_direct allow novpn_domain
always_direct allow novpn_ip4
never_direct allow all
http_access allow all

Answer 2

[Максим Корнеев]

Для каждой задачи свой инструмент. Вам нужен простой маршрутизатор, а не вот это все.

Comments

[maksimwork1980]

А что может быть проще?
На одном форуме (ссылка) задавали вопрос и предложили несколько вариантов.
Было несколько вариантов использовать Прокси-сервер.
А ещё так предлагали использовать маршруты в самом OpenVPN или маршрутизацию на основе политик.
Но в OpenVPN варианте серьёзный недостаток, что в случае смены AAA DNS записи домена у маршрута не будет правильно всплоть до перезагрузки. А также нужно укзаать явно поддомены, а я вообще бы хотел сразу маршрут на уровне доменов 1-ого уровня (ru).
А с помощью Ipset и Dnsmasq есть свои сложности.
А то, что прокси требует, что бы соответственно поддержку прокси у клиента - меня устраивает

[Максим Корнеев]

У Вас жуткая каша в голове и полнейшее непонимание как это работает. Вы хотите гланды ректально лечить. Прокси это для кеширования, DNS для разрешения имён, vpn для проброса сетей, а для маршрутизации нужен маршрутизатор. Тогда все будет просто, прозрачно и понятно. Вместо школьных форумов луче читать документацию и учебники.

[maksimwork1980]

Максим Корнеев,

Прокси это для кеширования

Надеюсь Вы это про Squid, который именуется как раз как "Кеширующий прокси-сервер", а не про все прокси-сервера?

Вместо школьных форумов луче читать документацию и учебники.

На оффициальной документации Squid есть десятки примеров конфигураций, которые явно не похожи на кеширование (ссылка). И я функцию кеширования просто проигнорировал тоже.
И что школьного в форумах..?

DNS для разрешения имён

Знаю, но как это противоречит моим словам, сказанным несколько дней назад? К примеру в OpenVPN если добавить в исключение домен, то он посмотрит его AAA записи. Потому что не бывает маршрутизации на основе доменных имён, а только IP, если речь не идёт о прокси. Проблемы начнутся, когда адрес сайта поменяется. Если в конфигах OpenVPN вообще есть возможность указать домен, а не вручную указывать IP сайта через dig или подобные утилиты.

vpn для проброса сетей,

Вы предлагаете использовать просто прокси-сервер без VPN? Не подходит:
1. Через VPN у меня не только прокси.
2. Могут просто заблокировать трафик провайдеры.

для маршрутизации нужен маршрутизатор

Физического или наподобии pfsence? Но там же не может быть доменной маршрутизации даже в теории.

У Вас жуткая каша в голове и полнейшее непонимание как это работает. Вы хотите гланды ректально лечить.

Теперь не уверен что у меня "полнейшее непонимание как это работает, тем более что всё и сейчас отлично работает)

[Максим Корнеев]

maksimwork1980, я предлагаю для каждой задачи использовать свой инструмент, а не лечить гланды ректально. может быть у кого-то так лечить и получается, но это не значит, что такой способ самый лучший.
если у Вас все сейчас работает - что ж вы тут вопросы задаете? но не хотите нормально сделать?

[Максим Корнеев]

maksimwork1980, а, еще. десяткам примеров по Вашей ссылке уже больше 20-25 лет. с тех пор много что поменялось. Вы в прошлом веке застряли.