Как правильно подать на вход нейросети IP-адрес?

Question

[MaxxxZ]

Для некоторых сетевых задач классификации трафика хочется подать на вход нейросети IP-адрес.
Однако, самый очевидный способ это седлать, отнормировать dword32 представление IP-адреса, - очевидно ошибочен. В этом случае нейросеть начнёт сравнивать адреса по величине и неизбежно начнёт делать выводы из расстояния между адресами обучающей выборки. А это в свою очередь в корне не верно, так как расстояние между IP-адресами в сетях ничего не значит. Адреса, отличающиеся на несколько единиц могут принадлежать разным компаниям на разных континентах. А между 192.167.255.255 и 192.168.0.0 при единичном расстоянии ещё и космических масштабов пропасть в области применения.
На ум приходит делать входные вектора огромных размеров из сетей, например по маске /24, /16, номеру AS или другим критериям и делать входы бинарными на принадлежность той или иной группе адресов. Это должно улучшить логику задачи. Но может есть и другие варианты решения? Наверняка ведь кто-то уже описывал эту проблему и велосипед изобретать не требуется. Буду благодарен за ссылку на какую-нибудь статью по сабжу.

Comments

[Руслан Федосеев]

а в чем задача? Или надо просто "подать на вход ip адрес"?

[MaxxxZ]

Конкретной задачи нет, но в общих чертах интерес к классификации вредоносного трафика

[Gansterito]

MaxxxZ, к сожалению, сам IP-адрес - это только идентификатор отправителя. Идентификатор можно подделать. Для определения вредоносного трафика более ценным является не IP, а связка "IP"+"точка входа трафика в сеть". Если ваша сеть - имеет одну точку входа, то это не имеет смысла. У анти-DDoS, IDS/IPS точек входа обычно больше :-) Например, если на вход МН-кластера попадает трафик из РФ-сегмента, это с большей вероятностью является нелегитимным трафиком.
Видели сервис Radar.Qrator? Куратор не спроста сделал этот проект. Прибыли он не приносит, но собранная маршрутная информация позволяет строить модель интернета и определять какой и где трафик может появится, а какой - нет. К слову, у меня к сервису есть вопросы, например, в корне несогласен с их рейтингом.

Answer 1

[hint000]

самый очевидный способ это седлать, отнормировать dword32 представление IP-адреса, - очевидно ошибочен

Не очевидно. Потому что нейросеть может решать разные задачи. Какую задачу будет решать ваша нейросеть - неизвестно. Для разных задач потребуются разные представления адреса.
В одном случае достаточно определить государство. В другом случае подойдёт ASN. В третьем случае окажется, что ни государство, ни ASN не релевантны, а хорошо подходит как раз тот вариант, который "очевидно ошибочен". В четвёртом случае - какое-то совсем необычное представление, которое никому даже не придёт в голову до тех пор, пока не озвучена задача.

Нет одного "правильного" варианта на все случаи.

Comments

[MaxxxZ]

Всё перечисленное вами может иметь смысл. Но очень сложно представить задачу, где сравнение IP-адресов по модулю будет не то, что иметь смысл, но хотя бы не будет отравлять сеть. Сравнение адресов по модулю это помесь великого рандома с историей распределения блоков в ICANN, что тоже почти рандом. Всё-таки подавать на вход нейросети псевдослучайные значения в целях её обучения - плохая идея.

Answer 2

[Денис Юрьев]

используйте базу maxmiddb, и подавайте в нейросеть не сам айпишник а информацию об географических координатах (не забывайте, что они сферические, к слову, и их стоит преобразовать в декартову систему, приняв центр земли за начало координат), стране, регионе, городе, ASN (организации/провайдере) и что-то там еще можно выудить

сам по себе айпишник нейросети вряд ли о чем то скажет

PS: учтите, что в базе есть пробелы, например не будет инфы о регионе или городе

Comments

[MaxxxZ]

Да, я как раз в вопросе и предположил использование ASN как вариант решения задачи. Вектор конечно получается того ещё размера, но всё же лучше, чем вбивать адреса в dword с точки зрения логики.

Может быть подскажете какую-нибудь статью на эту тему? Наверняка тема вдоль и поперёк описана. Я просто ключевых слов не могу подобрать, чтобы найти что-то релевантное)

[Денис Юрьев]

MaxxxZ, можете брать только географические координаты, преобразовывать их в декартову систему и у вас получится банальная векторизация IP адреса в вектор x,y,z
возможно этого будет достаточно

статей не встречал, вопрос в векторизации айпишников рассматривал вне контекста нейросетей

[MaxxxZ]

как вы правильно отметили - даже у максмайнда геолокация очень сферическая в вакууме. Но в сравнении декартовых координат и расстояний смысла гораздо больше, чем в сравнении адресов. Вы правы.

[Денис Юрьев]

MaxxxZ, maxmiddb еще содержит инфу о спутниковых провайдерах отдельно, к слову и есть некоторые интересные поля

вы лучше распотрашите базу на предмет, какие там данные есть.

к примеру, можно взять еще информацию о часовом поясе, что в теории позволит выявлять аномальный трафик из географической точки, где в данную минуту 3 часа ночи

[freeExec]

Денис Юрьев, Зачем напрягать сеть изучать географию стран по координатам, когда это заранее можно делать и достаточно точнее.

[Денис Юрьев]

freeExec, для начала надо понять, что именно автор делать планирует, я лишь варианты накинул

Answer 3

[Владимир Дубровин]

расстояние между IP-адресами в сетях ничего не значит.

Вообще-то очень даже значит, но расстояние надо считать не как модуль разницы, а как количество нулей в минимальной общей маске (т.е. если адреса попадают в сеть /28 то расстояние между ними 4).

Иногда нормируют сеть до адреса сети по информации из BGP или whois или добавляют ASN, но такие сети не всегда точны. Иногда используют подход, что вначале берутся мелкие подсети, например /24, если смежные подсети имеют одинаковые признаки, то их объединяют в более крупную подсеть и так далее итеративно.

Comments

[MaxxxZ]

Это не расстояние между чистыми адресами, а скорее между префиксами. Да и такая инфа есть только в таблицах маршрутизации. В сетевых пакетах масок не содержится.
Но в остальном вы подтвердили мою догадку. Спасибо.

[Владимир Дубровин]

Расстояние между адресами 1.1.1.1 и 1.1.2.4 равно 9 (они попадают в сеть /23), никакой информации о маршрутизации для этого не требуется. Информацию о сетях из BGP (информацию о маршрутах) можно использовать чтобы сразу определять сеть по 1 адресу.

[MaxxxZ]

Владимир Дубровин, это расстояние 9 без маски на не даёт ничего. А если на вход нейросети подать сначала 1.1.1.1, а потом 1.1.2.4 в чистом виде, то вряд ли она из такой обучающей выборки сделает что-то хорошее.
А вот сделать бинарный признак принадлежит ли AS cloudflare - это более информативно.

[Владимир Дубровин]

MaxxxZ, это расстояние и есть маска