Какую технологию применить для процессинга данных?

Question

[Михаил]

Исходные данные:

1. содержание payload сетевого пакета
   
2. правила фильтрации
   
3. все данные в RAM, а не на диске
   

Согласно правилам фильтрации нужно принять решение, что делать с пакетом.
Проблема:
пакетов прибывает несколько сотен тысяч в секунду. Правил более тысячи. Процессор, естественно, "утопает".

Нужны ваши фантазии на тему, как переработать такое огромное количество данных эффективно и как вообще это можно кластеризовать.

Скорее всего исходных данных мало: буду уточнять по ходу диалога.

Заранее спасибо за идеи!

Answer 1

[Егор Казанцев]

Понятно вам надо написать правила для файрволла. тут надо применить логику и сделать их как можно меньше и сделать так чтоб пакет проходил как можно меньше правил. Кроме знания синтаксиса писания правил для файрволла и немного логики с мозгами вам ничего не нужно.

Если у вас есть опыт оптимизации запросов к базе данных - это что-то подобное по напряжению мозга только правила другие =)

Comments

[Михаил]

нет, мне не нужен файерволл. Это IPS.
Укладывать ли данные в базу или обрабатывать пока они еще в памяти - большой вопрос.

[Егор Казанцев]

Михаил: Тоже самое: думать пакет должен пройти как можно меньше правил чтоб классифицироваться . А складывать в базу или нет это уже другой вопрос , но ихмо база будет база будет медленнее, чем хорошо настроенные правила.

[Михаил]

Егор Казанцев: это да, понятно. Но самый больной вопрос - как эту кухню кластеризовать. Не хочу зависеть от одного сервера, будь у него даже процессорных ресурсов больше, чем сетевых, способных к процессору пропустить трафик.