Как собирать статистику по трафику?

Question

[Дмитрий]

С Cisco забираю RSPAN-ом копию трафика. Требуется из этого потока собирать статистику, в которой будет: кто откуда когда и сколько скачал. Откуда - с доменным именем, а не только IP адрес. Squid не подходит.

Answer 1

[chupasaurus]

Ntop-ng.
Если есть возможность - лучше экспортировать трафик через Netflow, меньше нагрузка на циску будет.

Comments

[Дмитрий]

Cisco cat3550, нетфлоу не поддерживает. Да и то, там будет максимум src dst ip адреса и порты. Без доменов

[chupasaurus]

Дмитрий, ntop по барану, что мониторить. Раз нет Netflow, кроме зеркала других вариантов и не будет.

[Дмитрий]

chupasaurus, зеркалом трафик снял... куда теперь его погнать, чтобы анализировать?

[chupasaurus]

Дмитрий, Берёте сервер, ставите указанный мной Ntopng, настраиваете на нём прослушку нужного VLAN-интерфейса (RSPAN же), радуетесь жизни.

[Дмитрий]

chupasaurus, да, продукт классный, как раз то, что мне нужно. Но, похоже, он коммерческий. Не знаете случайно, какие функции перестанут работать после окончания демо-лицензии?

[chupasaurus]

Дмитрий, Исходники лежат на Github, у ntop почти все проекты под GPLv2/3. Из платных фич там более удобный дэшборд, но весь нужный функционал доступен всем.

Answer 2

[Strabbo]

Вариант 1: Тут не всё так просто. Всё зависит от того на какую точность информации вы расчитываете. Если использовать Netflow, то можно на самом сервере запустить еще и ДНС и заморочится созданием скриптом, который будет записывать IP-Domain и сравнивать его с IP, который пришел по Netflow. Если заморочиться с этим, то в конце может получится неплохой продукт ))
Вариант 2: Если ваш роутер поддерживает Nbar2, то надо найти netflow сервер, который поддерживает его. Scrutinizer вроде умеет. NBAR 2 умеет достававать HTTP: URL, host, user-agent, referrer. А вот умеет ли Scrutinizer обрабатывать эти атрибуты, это другое дело. сам не пробовал. Будут ли проблемы с HTTPS не знаю, но последние версии NBAR2 умеет читать Server name (проверял сам и работает).

P.S. Вариант 1 был у меня раньше, вроде кое-как работал. Вариант 2 не пробовал вообще, так что знаю только теорию, но если доки не врут всё должно работать. Ну и с прокси будет намного легче, жаль что вас не устраивает данный вариант.

Comments

[Дмитрий]

Коммутатор Cisco3550, netflow отсутствует. Мне нужно в общем-то только
time, url, dst.ip, size поля... ну вместо url можно имя домена хотябы, но не только один ip (до этого работал ulog+iptables, потребовалось ещё и dns-имена брать).

Пускать трафик сквозь себя я не могу, максимум - снимать зеркалированием поток на один из портов. Как этот поток анализировать - вот и вопрос.

[Strabbo]

Тогда штатнымы средствами не получится, вам надо будет свой костыль городить чтобы брать доменные имена. А вот URL никак не получить, можно например с зеркала снимать траффик и скриптом искать URL, но шифрованный траффик не проснифаете. Почему отказались от прокси? Там легко решается ваша задача