Как организовать proxy-сервер для журнала посещений?

Question

[Станислав Валсинатс]

Добрый день. В организации решается вопрос о реорганизации компьютерной сети без замены СКС.

Необходимо:
1) Организация доступа только авторизированым в домене пользователям. Вижу решение SQUID.

2) Журнал посещений пользователей и генератор отчетов , просмотр в Веб.

Прошу совета с выбором инструментов:

По первому пункту кроме варианта авторизации на SQUID и привязкой к AD других не вижу. Подскажите - может есть что-то еще ?

По второму пункту - если уже будет SQUID, то:
Есть ли какие то рекомендуемый на 2019 год анализаторы логов, веб панели ? или SARG, lightsquid и прочее из гугла сейчас актуально и альтернатив нет ? Трафик сейчас HTTPS - оно с ним будет работать ?

Есть еще вариант поставить микротик, и сделать его либо: proxy, либо брать NetFlow. Но по NetFlow подозреваю что будет много лишней информации, так как он все пакеты зеркалировать будет в БД.
Но тогда непонятно как авторизировать доменных пользователей.

Главный вопрос: proxy для авторизации необходимо ставить так же в разрыв соединения между коммутатором и маршрутизатором, или он может стоять как контроллер домена, воткнутый одним портом в коммутатор ?

Answer 1

[Евген]

Есть два варианта, прозрачный прокси-сервер, и не прозрачный прокси-сервер. Что бы работал HTTPS без доп настроек это не прозрачный прокси-сервер, нужно будет подходить к каждому компу и руками указывать в системе или в браузере прокси-сервер, если же хостов слишком много то говорим DHCP-серверу что бы давал в качестве шлюза по умолчанию IP-адрес прокси-сервера, и в интернете полно гайдов как подружить squid и htpps если используется прозрачный прокси-сервер.

UPD0:

подозреваю что будет много лишней информации

Много лишней информации не бывает

Comments

[Станислав Валсинатс]

Подскажите - Я читал что прозрачный прокси не работает с HTTPS, если это не так - подскажите что искать.

Если не прозрачный прокси:
Про DHCP - планируется внедрение. Но мне подсказали что адрес прокси раздается через GPO. Так и планировал.
Вы же пишете что можно DHCP отдавать как адрес шлюза - можно про это по подробнее ? Для этого не нужно прописывать прокси в системе ??

[Евген]

Подскажите - Я читал что прозрачный прокси не работает с HTTPS, если это не так - подскажите что искать.

Вот посмотрите тут вводное

Вы же пишете что можно DHCP отдавать как адрес шлюза

При выдаче сервером ИП-адреса он так же дает шлюз по умолчанию, к примеру в Debian это isc-dhcp-server и опция option routers 192.168.1.1; которая и дает шлюз по умолчанию. Только этот шлюз нужно должным образом настроить т.е. правила iptables и он в свою очередь должен смотреть на дырку с интернетом.

Или же писать скрипт или адрес каждому хосту тут:

spoiler

[Станислав Валсинатс]

Евген,
Спасибо за видео - ознакомлюсь.
Все же уточню. - про выдачу IP адресов понятно. Я никогда не настраивал прокси, потому мне немного не понятно:
Я думал так: DHCP раздает допустим Адрес+ДНС (АД, КД)+ GW (CISCO) И дальше мы прописываем через GPO системный прокси (который может быть до шлюза или после ?).

Вы говорите - указать в качестве GW именно прокси. Он обязательно должен быть GW ??

Вообще в вопросе выше я писал самое для меня сложное - ОБЯЗАТЕЛЬНО ли прокси ставить в разрыв перед маршрутизатором ? До или после GW он должен стоять. Тогда все проясниться.

[Евген]

Станислав Прядеин, ну прокси сервер будет у вас в локалке, и он в свою очередь вторым интерфейсом(либо сабинтерфейсом) смотрит дальше на вашу cisco которая дает тырнет.

воткнутый одним портом в коммутатор

Да и так можно, просто у него GW будет циска, а у хостов GW будет прокси

[Станислав Валсинатс]

Евген, Вот теперь более менее понятно, спасибо!

Answer 2

[Александр]

У нас используют SAMS для анализа логов. Недавно правил его чтобы работал с Debian 9 и новым Squid.
https://github.com/NeiroNx/sams2

сам прокси настраивается через политики.

Answer 3

[CityCat4]

Подскажите - может есть что-то еще ?

Мне не известны. Возможно и есть, но решение AD + squid - оно уже настолько разобрано по полочкам, как его настроить во всех мыслимых и немыслимых комбинациях.
Но сразу:
Сейчас большинство трафика https, поэтому сразу понадобится бампинг, что автоматом тащит за собой свой CA и распихивание ключа этого CA по всем рабочим станциям политикой домена.

Есть ли какие то рекомендуемый на 2019 год анализаторы логов, веб панели ?

Вот как ни странно, никто не озабоитлся написать более-менее стоящий, более-менее красивый и более-менее удобный анализатор логов для squid. Поэтому тут каждый извращается настолько, насколько подскажет его фантазия и некромансерские умения :) - потому что запускать sarg, sams и прочее образца года лохматого - это нужно быть прокачанным некромантом :D А другого просто нет.

либо брать NetFlow.

netflow дает только статистику о соединениях - кто куда ходил. В качестве дополнительной аналитики можно, но не основной. Под что годится? Ну, например, выловить тех, кто всевозможные лайфхаки использует для обхода ограничений корпоративного прокси :)

или он может стоять как контроллер домена, воткнутый одним портом в коммутатор

Может. И обычно он так и стоит. Потому что обычно на этой же тачке крутится сервис анализа логов и веб-сервер для внутренней статистики...

Comments

[Станислав Валсинатс]

либо брать NetFlow.

netflow дает только статистику о соединениях - кто куда ходил. В качестве дополнительной аналитики можно, но не основной. Под что годится? Ну, например, выловить тех, кто всевозможные лайфхаки использует для обхода ограничений корпоративного прокси :)

Вот и необходимо именно МИНИМИЗИРОВАТЬ затраты на прокси. У нас ограничения реализуются на CISCO пограничном перед интернетом. А тут нужна ТОЛЬКО статистика по зданию о запросах кто куда ходит. Потому наверно стоит попробовать. Только почти все анализаторы платные, сколько я не смотрел.

или он может стоять как контроллер домена, воткнутый одним портом в коммутатор

Может. И обычно он так и стоит. Потому что обычно на этой же тачке крутится сервис анализа логов и веб-сервер для внутренней статистики...

Вот тут я путаюсь больше всего! Если мне нужно ТОЛЬКО мониторинг и авторизация, то ПРОКСИ же не является GW, и тарфик на него я просто зеркалирую ? То есть он просто работает как соседний ПК с ОДНИМ ПОРТОМ ?

Или же я беру сервер с двумя интерфейсами, и пропускаю ЧЕРЕЗ НЕГО весь трафик ? Трафик тогда дальше идет на маршрутизатор , который указан GW - так ?

[CityCat4]

ТОЛЬКО статистика по зданию о запросах кто куда ходит.

В NetFlow нет и никак не может быть имени пользовтеля - в нем только IP. Если у Вас жесткая привязка IP-юзер, то может быть еще и пойдет. Данные NetFlow можно снимать через flowd.
О том, как ставить прокси - а как хотите, особенно если это виртуалка. Можно поставить машиной с одним портом - и тогда запрос с прокси будет уходить на общий шлюз - а можно сделать из него самостоятельный шлюз (и просто глушить весь forward).
Обычно прокси ставят не только ради статистики. Прокси - это как правило, черные списки. Порно, соцсети, сайты знакомств, всяческие анонимайзеры-херайзеры. Также это обычно доступ по группам, особенно если контора больше чем три с половиной бойца.

Answer 4

[rionnagel]

Да простят меня все мыслимые и немыслимые специалисты... Но вашу задачу решает вполне себе тот же Kerio Control из коробки с красивыми отчетами и графиками... только денег стоит.

Про стрельбу из пушки по мухам можно упомянуть ELK stack, который жрёт логи... например сквида.

Comments

[Станислав Валсинатс]

Бюджетники, денег не выпросить, и если и выпросить, то планировать на год вперед ПФХД.
А пиратство считаю за грех. =)

[CityCat4]

ELK, насколько я понимаю, пофиг что жрать - но придется преизрядно по..любить его при настройке :) Но нам например всю жизнь хватало отчета за прошедшие сутки в разрезе юзеров (кто сколько) с детализацией по юзеру - а это можно сделать через sarg.

[rionnagel]

Станислав Прядеин, ну можно использовать комбайны типа pfsense, но я не в курсе как там прямо сейчас.
CityCat4, не пробовал - надо попробовать sarg. По elk - да, пофигу что жрать. Да придёться помучаться, для нормальной работы сразу кластер фигачить, с grok разбираться и прочим). Зато красивые графики и отчёты на любой вкус и цвет можно построить, что очень любит начальство.

[CityCat4]

rionnagel, Вот и думаю - может замутить? У меня есть свой форк sarg, я его много лет весьма лениво пилю под свои нужды - как за...мучает глюками. Вот думаю - может замутить нечто, что уже допилено до меня? Там конечно работы много. И разбираться много в чем. Но опять же - востребованность на рынке... :)

[rionnagel]

CityCat4, ну попробуйте) Может будет интересно много кому.
Лично я уже не могу не стрелять по мухам из пушек). Паппетом настраивать виндовые клиенты, ансиблом с гитлабом-си микротики, маленькие и несущественные логи пихать в elk и настраивать дешборды. Кстати по сетевой тематике есть учень крутая вещь по отчетам в elk. Elastiflow называется, https://github.com/robcowart/elastiflow