Как удалить дубликаты IP-адресов с разными портами?

Question

[annonimus]

Привет всем. Ребят, подскажите пожалуйста, как (чем) удалить дубликаты ip с разными портами.
Пример, вот из нижнего списка удалить четыре адреса, а оставить один - 11.11.11.11:1. Вообще не важно с каким портом останется, лишь бы удалились дубликаты и остался один.
11.11.11.11:1
11.11.11.11:2
11.11.11.11:3
11.11.11.11:4
11.11.11.11:5
Может есть какие Windows программки? Решения можно в Notepad++, EmEditor или в Linux.
Спасибо.

Comments

[Дмитрий]

В Excel:
1. разделить текст по столбцам (разделитель - двоеточие).
2. создать сводную таблицу. Строки - столбец 1, данные количество по столбцу 1.
Полагаю и в OpenOffice/Google Таблицы можно проделать нечто аналогичное.

Answer 1

[AUser0]

Где-то месяц назад тут был такой же вопрос (с ответом), с использованием Notepad++. Ищите.

Comments

[annonimus]

Вы гений!!! Нашел статью
Решение:
Искать: ^([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+)(:[0-9]+\r?\n)(?:^\1:[0-9]+\r?\n){1,}
Заменить на: \1\2
Спасибо

Answer 2

[ky0]

1. Отчекрыжьте всё, что после двоеточия, например, как-нибудь так: cut -f1 -d":"
2. Натравите на sort -u

Добро пожаловать в линукс (либо поменяйте тэги).

Comments

[annonimus]

А как я потом порт верну на тот же ip? Мне нужно чтобы ip оставался с портом

Answer 3

[mayton2019]

Можно наверное загрузить в sqlite и там применить оконную функцию. Взять в группе первый попавшийся адрес.

Если автору нужно быстро готовое решение - то пускай публикует весь список адресов здесь. Ему какая-то добрая душа поможет.

Так... эта задача балансирует на грани - sed/sort - писать лениво. SQLite - оверхед получается для одного раза.