Наиболее многофункциональная БД для хранения и последующего анализа дампа трафика?

Question

[sebastian_mg]

Требуется выполнять много работы по анализу сетевого трафика. Хотелось бы сразу работать в БД которая лучшим образом для этого подходит.

Answer 1

[d'Ivan]

Только сегодня из подкаста узнал о ClickHouse. (Habr: Яндекс открывает ClickHouse)
Попробуй.

Comments

[sebastian_mg]

Спасибо. Изучу рекомендуемую Вами технологию получше и попробую. На первый взгляд именно то что нужно. Ответ засчитан)). Если же Вам известно о других подобных разработках, буду благодарен если сообщите.

Answer 2

[Ярослав]

Лично я для поиска аномалий заливал распарсенный tshark'ом трафик в splunk.
Вот он:
https://www.splunk.com

Изначально он предназначен для обработки любых логов, причём ещё на стадии загрузки пытается угадать и выделить из логов имена и значения полей, по которым впоследствии можно осуществлять поиск. Разумеется, если что-то splunk угадал неправильно, его можно поправить.

Бесплатная лицензия от платной отличается ограничением на объём обрабатываемых в сутки данных - но там порядки - сотни мегабайт в сутки.

Синтаксис языка запросов может с непривычки показаться странным: unix pipe )

Вот, вводная статья:
https://habrahabr.ru/post/160197/

А вот видеоурок по поиску:
www.splunk.com/view/SP-CAAAGW8

Первое личное впечатление было такое: это какая-то магия )