Singaporian
@Singaporian

Какую технологию применить для процессинга данных?

Исходные данные:
  1. содержание payload сетевого пакета
  2. правила фильтрации
  3. все данные в RAM, а не на диске


Согласно правилам фильтрации нужно принять решение, что делать с пакетом.
Проблема:
пакетов прибывает несколько сотен тысяч в секунду. Правил более тысячи. Процессор, естественно, "утопает".

Нужны ваши фантазии на тему, как переработать такое огромное количество данных эффективно и как вообще это можно кластеризовать.

Скорее всего исходных данных мало: буду уточнять по ходу диалога.

Заранее спасибо за идеи!
  • Вопрос задан
  • 130 просмотров
Пригласить эксперта
Ответы на вопрос 1
saintbyte
@saintbyte
Django developer
Понятно вам надо написать правила для файрволла. тут надо применить логику и сделать их как можно меньше и сделать так чтоб пакет проходил как можно меньше правил. Кроме знания синтаксиса писания правил для файрволла и немного логики с мозгами вам ничего не нужно.

Если у вас есть опыт оптимизации запросов к базе данных - это что-то подобное по напряжению мозга только правила другие =)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы