Как удалить повторяющиеся строки с IP более N раз?

Question

[minnie69]

Есть документ со строками IP:PORT.
Пример:

xxx.xxx.xxx.xxx/24
xxx.xxx.xxx.xxx/25
xxx.xxx.xxx.xxx/26

Требуется удалить строки, где IP повторяется более N раз, в независимости от Port.

Нашел регулярное выражение Notepad++ как выделить именно ip - ([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+).

Comments

[Dimonchik]

ха-ха, с Амазоном разобрался?

[Сергей c0re]

а в примере указано IP/MASK а не то что вы описали... ?

[minnie69]

Dimonchik, не понял

[minnie69]

Сергей c0re, прошу прощения.
Файл имеет строки с xxx.xxx.xxx.xxx:port
Нужно удалить повторяющиеся ип более 5 раз, но оставить в строках port. Возможно ли так сделать, и как удобнее будет это совершить?
Ваши ответы самые развернутые пока, если можете - подскажите

Answer 1

[AUser0]

Искать: ^([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+:[0-9]+\n){666,} - найдёт 666 и больше повторений,
Заменить на: \1 - если нужно оставить первый найденный IP:PORT.
Разумеется включаем режим Regular expression.

Comments

[Сергей c0re]

UPD: Регулярка найдет вообще любой IP , а не совпадение.

[AUser0]

Сергей c0re, ага, верно.
А вот такой вариант?

^([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+):[0-9]+\n(^\1:[0-9]+\n){665,}

[Сергей c0re]

AUser0, вообще не то... можете проверить на regex101
надо проверять соответствие предыдущему токену.
но и это проблему не решит, т.к. перед регуляркой необходимо весь список отсортировать, но вроде как такая операция есть.

[AUser0]

Сергей c0re, ну почему-же? Прекрасно всё находится и заменяется.
Надо только добавить вариант с DOS-овским CR-LF, на всякий случай:

Искать:

^([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+)(:[0-9]+\r?\n)(?:^\1:[0-9]+\r?\n){1,}

Заменить на: \1\2

[minnie69]

AUser0, спасибо за ответ.
Если правильно проверил, похоже Ваш ответ и есть решение.
Значение в фигурных скобках {1,} - обозначает сколько раз повторяется ip для его удаления?

[AUser0]

minnie69, это обозначается "минимум 1 или больше повторений".
Учитывая, что есть ещё IP-оригинал - получается будет заменено 2 или больше подряд идущих строк с один и тем-же IP.

[minnie69]

AUser0, можете написать ответ в комментарий на вопрос? Отмечу что корректно является решением.

[Сергей c0re]

AUser0, ну... .......... ........

[AUser0]

Сергей c0re, эээ, да-да?

[Сергей c0re]

AUser0, На этом наши полномочия - ВСЁ ))

Answer 2

[Dimonchik]

Нашел регулярное выражение Notepad++ как выделить именно ip - ([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+)

так и выделить
$1 или \1
гугл правила регулярок в нотпаде++

Answer 3

[Сергей c0re]

UPDATE:
Через регулярку можно, если предварительно отсортировать строки

В Notepad++ есть следующие операции:

Сортировка:
выбрать в меню
En - Edit -> Line Operations -> Sort Lines Lexicographically Ascending
Ru - Правка -> Операции со Строками -> Сортировка по возрастанию (По первой цифре)

Удаление дубликатов:
выбрать в меню
En - Edit -> Line Operations -> Remove Consecutive Duplicate Lines
Ru - Правка -> Операции со Строками -> Удалить последовательные дубликаты строк

Через регулярку - сначала сортируем список (как описано выше), затем делаем замену через регулярку:

Найти: (\d+\.\d+\.\d+\.\d+:\d+[\r\n]*)(?:\1)+
Заменить на: \1

Это удалит все дубликаты
см. пример на regex101

Если необходимо N-раз, то

Найти: (\d+\.\d+\.\d+\.\d+:\d+[\r\n]*)(?:\1){2,}
Заменить на: \1

где цифра в фигурных скобах = N-1
см. пример на regex101

см. так же Регулярные выражения в Notepad++ готовые примеры, и т.п. в гуглояндексе...

так же удаление дубликатов можно сделать через варианты:

• в Notepad++сначала сортируем все строки, затем удаляем дубликаты, см. выше пункты меню
  
• в bash сделать
  cat ip.lst | sort | uniq
  
  
• использовать MS Excel (LibreOffice и т.п.), см. Yandex - Excel удалить дубликаты
  
  

Comments

[AUser0]

Одна неучтённость: автор вопроса писал, что цифра после двоеточия (номер порта) может менятся от строки к строке...

[Сергей c0re]

AUser0, м........ ясн ))
так вопрос описал... ...