UPDATE:
Через регулярку можно, если предварительно отсортировать строки
В Notepad++ есть следующие операции:
Сортировка:
выбрать в меню
En - Edit -> Line Operations -> Sort Lines Lexicographically Ascending
Ru - Правка -> Операции со Строками -> Сортировка по возрастанию (По первой цифре)
Удаление дубликатов:
выбрать в меню
En - Edit -> Line Operations -> Remove Consecutive Duplicate Lines
Ru - Правка -> Операции со Строками -> Удалить последовательные дубликаты строк
Через регулярку -
сначала сортируем список (как описано выше), затем делаем замену через регулярку:
Найти: (\d+\.\d+\.\d+\.\d+:\d+[\r\n]*)(?:\1)+
Заменить на: \1
Это удалит все дубликаты
см. пример на
regex101
Если необходимо N-раз, то
Найти: (\d+\.\d+\.\d+\.\d+:\d+[\r\n]*)(?:\1){2,}
Заменить на: \1
где цифра в фигурных скобах = N-1
см. пример на
regex101
см. так же
Регулярные выражения в Notepad++ готовые примеры, и т.п. в гуглояндексе...
так же удаление
дубликатов можно сделать через варианты:
- в Notepad++сначала сортируем все строки, затем удаляем дубликаты, см. выше пункты меню
- в bash сделать
cat ip.lst | sort | uniq
- использовать MS Excel (LibreOffice и т.п.), см. Yandex - Excel удалить дубликаты
