Как правильно настроить прозрачный Squid на пару с Mikrotik?

Question

[Nikita]

Есть Squid-сервер (10.10.10.1) с одной сетевой картой. И есть Микротик (10.10.10.254).

Версия Сквида — 4.10. Собирал его из исходников.

На Микротике прописал правила:

/ip firewall mangle 
add chain=prerouting action=mark-routing new-routing-mark=SQUID passthrough=no 
      protocol=tcp src-address=10.10.10.100 in-interface=bridge-local
      dst-port=80
/ip route
add distance=1 dst-address=0.0.0.0/0 gateway=10.10.10.1 routing-mark=SQUID scope=30 target-scope=10

где 10.10.10.100 — адрес моего компьютера. Пока для тестов один только.

На сервере, где Squid, всё сделал по инструкциям:

iptables -t nat -A PREROUTING -i eth1 -s 10.10.10.0/24 -p tcp --dport 80 -j REDIRECT --to-ports 3129

Включил пересылку пакетов:
net.ipv4.ip_forward = 1

В настройках Сквида прописал так:

http_port 3129 intercept
http_port 3128

Всё остальное у Сквида по-умолчанию оставлено.

Когда я захожу на HTTP-сайты, страница не загружается. Индикатор бесконечно крутится, но страница не показывается. В логах Сквида посещенный сайт присутствует, но в браузере не открывается.

Иногда в логах выскакивает ошибка

1582641137.824      0 10.10.10.254 NONE/000 0 NONE error:transaction-end-before-headers - HIER_NONE/- -

В чем может быть проблема?

Сквид собран из исходников. Опции конфигурации такие:

configure options:  '--prefix=/usr' '--localstatedir=/var' '--sysconfdir=/etc/squid' '--datadir=/share/squid' '--with-default-user=proxy' '--with-logdir=/data/squid/log' '--with-pidfile=/var/run/squid.pid' '--with-swapdir=/data/squid/cache' '--with-openssl=/home/vadim/openssl-1.1.1d' '--with-large-files' '--enable-cpu-profiling' '--enable-gnuregex' '--enable-icmp' '--enable-cache-digests' '--enable-follow-x-forwarded-for' '--enable-ssl-crtd' --enable-ltdl-convenience

Можете поделиться рабочим конфигом Сквида и Микротика для 4.10 версии Сквида? Не получается настроить.

Answer 1

[Alexey Dmitriev]

1. где правила на Mikrotik, открывающие доступ для ip squid? Вы же понимаете как работает прокси?
2. где информация о состоянии таблицы FORWARD в iptables на сервере со squid? Вы же понимаете, что net.ipv4.ip_forward = 1 недостаточно, а еще нужно разрешить прохождение пакетов в iptables?

Comments

[Nikita]

Я использую ufw и там все forwards приписаны по-умолчанию. Это касаемо 2 пункта.
А насчет первого пункта — Вы имеете в виду в фильтре открыть доступ к порту для сквида?
Уточните, пожалуйста...

[Alexey Dmitriev]

Nikita, у вас микротик пропускает пакеты с адресом источника, равным ip адресу сервера squid?
Если установить прокси в настройках браузера на вашем компьютере - то есть использовать непрозрачный режим - интернет есть?

Логи смотрели? В данной цепочке все можно очень просто прологировать - и на Mikrotik, и в iptables и в Squid.

[Nikita]

Alexey Dmitriev,

1) если в настройках браузера ставить прокси 10.10.10.1:3128, то интернет есть. Трафик идет через Сквид.
2) если ставить 10.10.10.1:80 (тот порт, который потом редиректится в 3128-ый порт), то Сквид пишет в браузере ошибку "Соединение с 10.10.10.1 не удалось". И значок Сквида слева сверху.

Сам трафик от Микротика к Сквиду идёт. В случае с прозрачной схемой. Это доказывается тем, что если процесс Сквида убить, браузер показывает что сервер не найден.

[Alexey Dmitriev]

Nikita, а в чем был смысл самосборного сквида? Может стоит установить из пакета стандартный и попробовать с ним?

[Ruslan-Strannik]

а вы уверены что машина обращается к 10.10.10.1:80 через микротик? счетчик тикает?
если вы в одном L2 сегменте (подключены к свичу например), то обращение идет напрямую, минуя ваш нат на микротике.
в таком случае вы обращаетесь к сквиду на 80й порт и он вам соответсвенно отказывает
(если iptables нет перенаправления)

[Ruslan-Strannik]

вообще лучше вынести прокси за пределы сети. подключить к микротику и определить для него отдельную сеть локальную. так будем многго лучше. и путаници не будет.... иначе будут траблы, когда будешь отправлять всю подсеть на прокси (включая его самого)

[Nikita]

Ruslan-Strannik, логи Mangle на Микротике показывает, что от моей машины пакеты идут. Потом они помечаются и роутятся (/ip route) на Сквид-сервер на 80 порт. А уже на Сквид-сервере в iptables делается редирект с 80 на 3129 порт.

[Alexey Dmitriev]

Ruslan-Strannik, в случае если микротик на машине стоит default gateway - пакеты с нее уйдут на микротик и там уже будут завернуты на сквид. А на сквиде перенаправлены на другой порт.

[Nikita]

Alexey Dmitriev, хотел поставить последнюю версию. Используется Debian 10. Тогда попробую использовать testing-ветку. Может собрался как-то криво

[Alexey Dmitriev]

Nikita, хотел спросить, но вы сказали, что в непрозрачном режиме сквид работает. Но все-таки спрошу - вы access list в настройках squid прописали для локальной подсети?

[Ruslan-Strannik]

Alexey Dmitriev, боюсь что нет. Если 2 машины находятся в L2 сегменте, то и общаться они будут минуя шлюз

[Nikita]

Alexey Dmitriev, да, конечно. В общем, вот все настройки:

pipeline_prefetch on
shutdown_lifetime 0 second

cache_mem 1024 MB
cache_dir ufs /var/squid/cache 1024 16 256
cache_swap_low 70
cache_swap_high 95

memory_replacement_policy lru
maximum_object_size_in_memory 512 KB
minimum_object_size 0 KB 
maximum_object_size 4096 KB

visible_hostname squidServer

acl SSL_ports port 443
acl Safe_ports port 80		# http
acl Safe_ports port 21		# ftp
acl Safe_ports port 443		# https
acl Safe_ports port 70		# gopher
acl Safe_ports port 210		# wais
acl Safe_ports port 1025-65535	# unregistered ports
acl Safe_ports port 280		# http-mgmt
acl Safe_ports port 488		# gss-http
acl Safe_ports port 591		# filemaker
acl Safe_ports port 777		# multiling http
acl CONNECT method CONNECT

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports

http_access allow localhost manager
http_access deny manager

acl whitedomains dstdomain "/etc/squid/whitelist.txt"
acl blackdomains dstdomain "/etc/squid/blacklist.txt"
http_access allow whitedomains
http_access deny blackdomains

acl LAN src 10.10.10.0/24
http_access allow LAN

acl all src all
no_cache deny all
http_access deny all

http_port 3129 transparent
http_port 3128

coredump_dir /data/squid/cache

refresh_pattern ^ftp:		1440	20%	10080
refresh_pattern ^gopher:	1440	0%	1440
refresh_pattern -i (/cgi-bin/|\?) 0	0%	0
refresh_pattern .		0	20%	4320

[Alexey Dmitriev]

Nikita, можете обнулить логи в /var/log/squid и показать - что все-таки в логах появляется при попытке прозрачного проксирования? (если планируете логи удалить - нужно сделать service squid reload)
А вообще можно увеличить уровень логгирования в squid.conf и попытаться покопать в этом направлении.

[Nikita]

Alexey Dmitriev, появляется только это:

1582704662.951    410 10.10.10.254 TCP_MISS/200 9884 GET http://opennet.ru/ - ORIGINAL_DST/67.30.156.11 text/html
1582704706.502   1343 10.10.10.254 TCP_MISS_ABORTED/000 0 GET http://opengw.net/ - ORIGINAL_DST/130.158.75.33 -

Видно, что запросы на Сквид идут с Микротика.

[Nikita]

Alexey Dmitriev, поставил Squid 4.10 из testing-ветки Дебиана, но всё то же самое. Может попробовать Squid 4.6 ?

[Ruslan-Strannik]

а когда прописываешь прокси в браузере, то пакеты летят от 10.10.10.100?

[Nikita]

Ruslan-Strannik, Да. Если прописывать 3128 порт и 10.10.10.1

[Ruslan-Strannik]

вот вроде то что надо.

просто вынеси прокси в отдельную локалку

[Nikita]

Ruslan-Strannik, Сейчас попробую сначала Squid 4.6 поставить из стабильной вертки Дебиана

[Nikita]

Ruslan-Strannik, Всё получилось.

Вогнал Сквид и Микротик в отдельную подсеть и все заработало. Остальное оставил так же.
Спасибо!!

[Nikita]

Ruslan-Strannik, только есть момент.
Почему-то через на некоторое время Сквид начинает долго отвечать на запросы. Страницы начинают грузиться долго. Но потом снова всё становится нормально. В чем проблема может быть ?

[Nikita]

Ruslan-Strannik, в общем, тупит.
С моей рабочей станции всё нормально грузит. А с других машин вообще ничего не открывается.
Логи Сквид фиксирует, но контент не отдаёт.

У меня сейчас в Микротике до сих пор маркировка трафика в mangle и с маршрутом в route. Может такая методика не подходит?

[Ruslan-Strannik]

попробуй натом сделать редирект. а маркировку отключить. и кстати... днс сервер у всех должен быть один.
как-то сталкивался с траблами, когда у прокси был другой днс.