Как хранить netflow?

Question

[Александр]

Здравствуйте. Такой вопрос - в Казахстане нужно хранить данные о перемещении пользователей в интернете - 5 лет. Как это можно организовать? На данный момент стоит Barsum TEM - и он, мягко говоря, ели работает. За месяц накопилося терабайт и он почти не справляется. В базу пишет нормально, а вот при включении сортировки на 1 ip за сутки хотя бы - уйдёт не 1 час. Может есть какие то средства ? Желательно фриварные.

Answer 1

[athacker]

nfcapd. Бесплатый, умеет сжимать БД, всё хранится в отдельных файликах, для анализа можно использовать nfdump. Есть графическое поделие -- nfSense, работает по файлам, собранным nfcapd. У нас база netflow -- около 18 Тб за три года (это сжатых данных). nfcapd бьёт их на каталоги по схеме: <имя_шлюза>/год/месяц/день/час. Соответственно, по 24 файла в сутки.

Comments

[Александр]

nfSen скорее всего :) Нужно будет глянуть, нашел на хабре статью об этом. Сами много чего допиливали ручками?

[athacker]

Александр: ничего не допиливали. Просто для каждого гейта запускали отдельный инстанс nfcapd на отдельном порту, и настраивали на гейте отгрузку netflow на этот порт. nfSen не использовали, нам nfcapd хватало, так как запросы на "пошерстить netflow" прилетали не чаще раза в две недели.

[Александр]

athacker: а характеристики какие у вас под эту систему?

[athacker]

Александр: В конечном итоге перенесли всё на виртуалку. Два vCPU, гига 4 оперативы, ничего выдающегося. Там где-то две сотни гейтов, трафик на машину был в районе 2-3 Мбайт/сек.

Answer 2

[Макс]

Давайте определимся - Вам надо собирать, анализировать, анализировать бесплатно или анализировать быстро?
Коллектора бесплатные есть - и работают, по слухам, вполне стабильно. Анализаторы - тут хуже.
13 Free Netflow Analyzer
Ну а анализировать быстро и бесплатно при 1Тб данных за месяц - это вопрос не к ПО, вернее не только к ПО но и к железу.

Comments

[Александр]

Железо - гигабитная карточка, i7 4790, 16gb ram. Сейчас ПО стоит, оно собирает но при попытке обратится к данным - ждешь уйму времени. MS SQL съел всё озу но толку не очень много.

[Макс]

Александр: это не совсем ответ. Вас не устраивает используемое Вами решение - и? Вы хотите его поменять на иное? или сделать так, чтобы текущее работало быстро?
Учтите, чудеса, конечно, под Новый Год случаются, но 1Тб данных это 1Тб данных. Сервер, как я понимаю, у вас 1 - т.е. он и пишет и строит отчет. 1Тб/мес - это, если мне не изменяет моя математика за 3 класс, почти 24Мб в секунду в среднем. Плюс никто не знает, как устроена Ваша ДБ, какие такм индексы. Плюс не совсем понятно, что за отчет Вы планируете строить.

Некоторый итог: у вас есть претензии к анализатору, к коллектору вроде претензий нет. Поменять и то и другое можно - но вот эффект будет неоднозначный. Морально готовьтесь, если Вы планируете хранить и строить отчет по 60Тб данных, то " i7 4790 16Гб RAM" звучит не очень серьезно.

[Александр]

Макс: Кончено понимаю, но люди которые пытаются нам продать ПО которое стоит сейчас говорят что Это хорошие характеристики. Отчеты мы не планируем стоить, как таковые, иногда посмотреть были ли обращения конкретного ip куда либо.

[Макс]

Александр: ох... ладно, комментировать "людей, которые пытаются продать" не буду. Ну и с советами поостерегусь. Скажем так, при условии, что руководство одобрит риск отсутствия поддержки ПО, и при условии наличия знаний в линуксах, я бы мигрировал на фришное решение. Коллектора есть, они работают. С хранением все несколько сложнее - но вот тут и понадобятся руки. Есть решения готовые, есть "конструкторы" , можно вообще сделать что-то совсем свое. Из конструкторов не могу не вспомнить ELK.

[Александр]

Макс: Начальству - лиж бы оно работало как нужно. Но походу я буду в сторону nfcapd смотреть. По тех. хар-кам пк для этих дел - Нынешних характеристик хватит на первое время, единственное что мне понадобиться это еще дискового пространства. Спасибо за советы, думаю я еще не раз открою эту ссылку и вчитываться.

[Макс]

Александр: удачи. с начальством только поаккуратнее. Иногда иннициатива наказуема(очень надеюсь, что Вас это не коснется).

Answer 3

[Дмитрий Шицков]

Возможно, не справляется аппаратная часть.

В качестве фришного решения может подойти ntop