Как написать нейронную сеть, которая будет определять была ли атака на сеть?

Question

[Руслан Минниханов]

Есть база KDD cup99, нормализованные данные (0, 1), как и на чем можно написать нейронную сеть, которая будет определять была ли атака на сеть?

Answer 1

[Владимир Проскурин]

Не зацикливайтесь на нейронных сетях, есть не менее крутые алгоритмы. Например - градиентный бустинг, в свое время для дипломной работы по определению стоимости жилья по его параметрам, он мне показал наилучшие результаты, хотя все зависит от исходных данных и их обработки. Вот отличная либа для питона https://github.com/Microsoft/LightGBM есть еще sckikit-learn, но первая умеет работать с gpu, вторая пару лет назад не умела (сейчас не знаю).
В моей задачи была регрессия, в вашем случае классификация, но можно также использовать регрессию, т.е. получать ответ не 0(нет) и 1 (да), а в процентах, чем выше, тем похоже на атаку, мне кажется, так будет понятнее изучать данные. Хотя если у вас в этих данных нет четких ответов, была ли атака при текущих X, то нужно использовать алгоритмы кластеризации (чтобы алгоритм сам определял, не зная ответов ни для каких данных). Алгоритмы кластеризации также есть в scikit-learn

Answer 2

[d'Ivan]

Надо сперва определить набор входных признаков в диапазоне 0..1, по которым будет приниматься решение.
Набор признаков представляет из себя вектор.
Без критериев, определяющих что выходит за пределы нормы, не обойтись.

Можно использовать Байесовскую модель принятия решений.

Comments

[Руслан Минниханов]

Такой набор есть

[d'Ivan]

Руслан Минниханов,

Как написать нейронную сеть

Это вопрос по части реализации или о предварительном выборе той или иной ИНС?

[Руслан Минниханов]

По части реализации.
Просто есть матрица данных 22х5321 - входные параметры
И матрица выходных параметров 6х5321.
Необходимо определить была ли атака на сеть.

[d'Ivan]

Руслан Минниханов, Входы и выходы нужно кодировать.
На выходе ИНС должна быть вероятность того что совершена атака.

[dmshar]

Как тут уже сказали, нейронная сеть тут очень далеким боком. Существуют несколько десятков (!!!) методов, которые по информации о состоянии сети или трафика могут распознать была атака или нет, некоторые могут распознать и конкретный тип атак. Как на данных KDD cup99 так и при других способах описания состояния объектов информбезопасности. Тема не новая и достаточно хорошо изученная. Существуют и статьи и книги и даже учебники на эту тему. Если вы хоть расскажете, зачем это вам надо (для учебных целей по ИБ, для учебных целей по ML, для учебных целей по нейронкам, как бакалаврская работа, как магистерская, как научная задача, как задача поставленная перед вами как системным администратором, владеете вы английским, или как обычно "со словарем" :-), - тогда и советовать можно будет что-то более направленное. А так посмотрел - ну лежит у меня на диске около 200 статей-книг по теме "Применение ML для выявления атак", да еще около 100 в закладках Хрома. И это вообще-говоря не предел и не все, что можно найти в сети. Какие из них по вашей мерке, а какие - не по зубам или наоборот, слишком тривиальные?
Опишете себя - можно будет подбирать. А так...
P.S. Кстати, как следует из названия, KDD cup99 - база собранная ДО 1999 года. Сделать что-то реально-актуальное по данным двадцатилетней давности - как то немного сомнительно.

[Руслан Минниханов]

dmshar, Для бакалаврской работы по нейронным сетям. Понимаю что для этой базы ничего актуального не сделать, но научрук сказал делай так, я вот пытаюсь) В английском шарю

[dmshar]

Ну, раз бакалаврская....
https://habr.com/post/358200/
Для "с самого начала" - очень неплохо. Есть обзор проблемы и путей решения, есть анализ методов, есть ссылки на источники, включая использование нейросети для задачи выявления вторжений, есть даже коды реализации.
Для начала вполне хватит, ну а дальше - углубляться. Появятся вопросы - спрашивайте.

Answer 3

[Станислав Бодро́в]

Векторов атак на сеть не мало как и способов атак. Их комбинация (перемножение) довольно большое число даст. поэтому надо выделить самые критичные атаки и работать по ним.

Answer 4

[dmshar]

Как тут уже сказали, нейронная сеть тут очень далеким боком. Существуют несколько десятков (!!!) методов, которые по информации о состоянии сети или трафика могут распознать была атака или нет, некоторые могут распознать и конкретный тип атак. Как на данных KDD cup99 так и при других способах описания состояния объектов информбезопасности. Тема не новая и достаточно хорошо изученная. Существуют и статьи и книги и даже учебники на эту тему. Если вы хоть расскажете, зачем это вам надо (для учебных целей по ИБ, для учебных целей по ML, для учебных целей по нейронкам, как бакалаврская работа, как магистерская, как научная задача, как задача поставленная перед вами как системным администратором, владеете вы английским, или как обычно "со словарем" :-), - тогда и советовать можно будет что-то более направленное. А так посмотрел - ну лежит у меня на диске около 200 статей-книг по теме "Применение ML для выявления атак", да еще около 100 в закладках Хрома. И это вообще-говоря не предел и не все, что можно найти в сети. Какие из них по вашей мерке, а какие - не по зубам или наоборот, слишком тривиальные?
Опишете себя - можно будет подбирать. А так...
P.S. Кстати, как следует из названия, KDD cup99 - база собранная ДО 1999 года. Сделать что-то реально-актуальное по данным двадцатилетней давности - как то немного сомнительно.