Чем собирать статистику использования интернета пользователями?

Question

[Александр Каплун]

Есть Mikrotik-и уставленные в разных филиалах и офисе.
Стоит задача собирать статистику по тому кто куда лазит в интернете, сколько сидит и т.д.

Подскажите, что лучше использовать. Хочется зеркалировать трафик со всех mikrotik в какое то одно место и там его разбирать.

Answer 1

[Wexter]

Наймите грамотного сисадмина

Comments

[Александр Каплун]

хочется без админов и с интерфейсом который будет прост и понятен для 6-ти летнего ребенка

[fdroid]

Александр Каплун, гуглите netflow, какой-нибудь биллинг. У меня такой задачи не было, но начал бы с чего-то подобного. Наверное.

[ky0]

Александр Каплун, тогда покупаете какую-нибудь систему сетевого мониторинга с соответствующим функционалом, либо разрабатываете собственную. Или всё-таки нанимаете админа, который вам с помощью сбора netflow и ELK громоздит примерно то, что нужно.

[Александр Каплун]

fdroid, ky0, посмотрел я netflow но он как то не про то кто сколько вконтактике сидит и смотрит видосики, а мне нужно именно это статистика + что бы система могла как то обходить простенькие системы скрытия трафика

[ky0]

Александр Каплун, да нет, как раз про это. Все необходимые параметры для определения, кто куда ходит есть в наличии. Другое дело, что при начальной настройке придётся напрячь извилину и составить правила фильтрации. Про "системы скрытия трифика" - это вам уже в DPI с соответствующим ценником, простенько тут не очень-то сделаешь.

[fdroid]

Александр Каплун, как вариант - NetFlow v5 Statictics Scripts.

Answer 2

[rionnagel]

Zabbix, elk stack + elastiflow, PRTG Network Monitor, netflow analizer и прочее, что умеет жрать netflow. Так вы увидите с какого ip на какой человек лезет. Но вы же понимаете, что с коробки ничего вам не покажет, что человек сидит на youtube, а не гуглит (это можно определить лишь по косвенным признакам и неоднозначно), особенно если адреса принадлежат одной компании. Если заголовок зашифрован - вам надо mitm фигачить, сертификаты всем подменять, возможно покупать весьма дорогое ПО, а в некоторых случаях и железки и пр. Сейчас не 2000 года, когда трафик был преимущественно http и можно было без проблем видеть заголовки через прокси.
Если бюджетом не располагаете, то лучше эту идею не реализовывать. А то придёте к тому, что везде надо будет ставить kerio control, покупать лицензии, подменять сертификаты и переворачивать сетевую инфраструктуру так, чтобы потратить меньше денег. Это потянет более жосткие проблемы за собой и на поддержание этого придётся нанимать специалиста.

Answer 3

[CityCat4]

В указанных условиях задача не имеет решения :)

Ответ Надсистемы мгновенно разрушил радужные надежды: "Задача не имеет решения" Л. Резник "Магический треугольник"

1. netflow отдает только IP-адреса, что будет совершенно не тем, куда ходят юзера
2. сейчас почти всюду https, так что куда они на самом деле ходят - знают только они

Сделать разумеется, можно все. Вес давно уже придумано. Но работы будет много.

- Всех пересадить на прокси (один или в каждом филиале свой)
- На всех прокси настроить бампинг, то есть подмену сертификатов, mitm и все такое
- На всех прокси собирать и обсчитывать статистику

Все это конечно делается на линухе. Но руки нужны, растущие из плеч (а не из филейной части :) )

Comments

[Александр Каплун]

все пользователи обращаются с запросами к локальному DNS серверу, не ужели нельзя брать данные с него и сопоставлять с тем какой IP он отдал пользователю для того имени что он спросил, ведь пользователь пишет что хочет youtube и сервак его туда отправляет

[CityCat4]

Александр Каплун, Как насчет хостинга с сотней сайтов? Бэкрезолв покажет какую-то запись, которая вообще не имеет отношения к тому, куда ходили люди.
Не, дело Ваше. Хотите велосипедов - you are welcome. Зеркалируйте, разбирайте... потом натыкайтесь на факт, что чел пошел через анонимайзер и его реальную цель хрен узнаешь...

Answer 4

[fpir]

Мне кажется, отвечающие смотрят в 21 первый век и сетевые технологии, а автор вопроса - в 20 век с лимитированным трафиком и техническое решение ему надо искать там. Всё верно, прокси-подмена сертификатов, но есть место, где сертификаты подменять не надо - на компе пользователя. Trafic Inspector(с удивлением узнал, что его даже развивают). Не знаю, как сейчас, но лет 10 назад на каждую рабочую станция ставился агент, который слал статистику на сервер и там сводил всё в табличку по типу трафика, по ip и по доменам.

Comments

[CityCat4]

Тогда уж проще сразу Стахановца :) Вот там точно пофиг - прокси-не прокси, сертификат-не сертификат, браузер-не браузер - один хрен, все сольет, все посчитает и все сведет в таблицу.