Поиск дубликатов в тексте через регулярные выражения?

Question

[Damian Lewis]

Здравствуйте! Интересует возможность найти и отобразить дубликаты в тексте. Не банальное Ctrl+F и поиск слова, а более сложный автоматизированный механизм.
Например: Есть определенное количество программ, которые отличаются лишь версией. Находятся такие программы в куче других программ и я хочу отобразить такие программы со схожими именами. Типа, имена совпадают на 50/70% и т.д. Слышал, что такое можно провернуть через регулярные выражения, но я в них ничего не понимаю. Как это сделать?

Comments

[vreitech]

Пример кучи других программ, в которой присутствуют программы со схожими именами, и то, что хочется получить, можно?

[Damian Lewis]

vreitech, Хочется получить список строк со схожими именами!

[Damian Lewis]

vreitech, Пример на именах выделенных курсивом:
Мария
Анна
Виктория
Полина
Елизавета
Екатерина
Ксения
Валерия
Варвара Free 1.4
Варвара Pro 2.0
Александра
Вероника
Надежда
Светлана
Злата
Олеся 3.3
Олеся Free_Lite 4.8
Наталья
Эвелина

Answer 1

[xmoonlight]

Никак. Смотрите здесь.

Пример

Мария
Анна
Виктория
Полина
Елизавета
Екатерина
Ксения
Валерия
Варвара Free 1.4
Варвара Pro 2.0
Александра
Вероника
Надежда
Светлана
Злата
Олеся 3.3
Олеся Free_Lite 4.8
Наталья
Эвелина
/варвара.*?/usix
/олеся.*?/usix

Для простой кластеризации можно использовать PHP и функцию similar_text().

Comments

[Damian Lewis]

Не верю, что такое невозможно)

[Moskus]

Damian Lewis, ну не верьте, кто вам запрещает? Результат-то у вас от одной веры тоже не появится. Не используют для этого регулярные выражения.

[Damian Lewis]

Moskus, Я не верю в то, что такое невозможно, а не в то, что это невозможно сделать через регулярные выражения.

[Moskus]

Damian Lewis, вы читать умеете? Вам ссылку на что дали в ответе?

[Damian Lewis]

Moskus, тык

[Damian Lewis]

Ладно ребята, Спасибо за ответы и потраченное время. Видимо простого способа вставки текста и поиска в нем похожих значений - нет. Сделаю все вручную как раньше.

[xmoonlight]

Damian Lewis, я написал в вопросе (дополнил) Ваш пример regex-строками.
Не подходят?

[Damian Lewis]

xmoonlight, нет, не подходит. Тот метод, что Вы привели в примере ничем не отличается от обычного Ctrl+F. Там также если ввести Вероника высветится все строки где присутствует Вероника. А мне нужно так, чтобы вставив 1000 строк, можно было высвечивать похожие строки. С группировкой похожих строк рядом друг с другом.

[xmoonlight]

Damian Lewis, Непонятна задача... Какие похожие из вашего примера должны быть выбраны? Т.е. данные Вы привели, теперь - результат одной из выборки какой по ним ожидаете? (чтобы понять о чём речь или новый пример приведите...)

[Damian Lewis]

xmoonlight, Пример:
Берем список:
Мария
Анна
Виктория
Полина
Елизавета
Екатерина
Ксения
Валерия
Варвара Free 1.4
Варвара Pro 2.0
Александра
Вероника
Надежда
Светлана
Злата
Олеся 3.3
Олеся Free_Lite 4.8
Наталья
Эвелина

В этом списке есть похожие имена:
Варвара Free 1.4
Варвара Pro 2.0
Олеся 3.3
Олеся Free_Lite 4.8

Нужно убрать все остальные записи оставив только похожие. Как выше. Ну или просто отобразить похожие записи чтобы я мог принять решение по ним.

[xmoonlight]

Damian Lewis, Похожие - по какому признаку? С цифрами или как?

[Damian Lewis]

xmoonlight, Похожи по именам! В списке две Варвары и две Олеси. Если говорить про программы, то это могут быть 2 разные версии Mozilla Firefox. К примеру:
Mozilla Firefox 56.0.2 Final
Mozilla Firefox 58.0 Final

Как мы видим, различаются проги только по версиям. Хочу отобрать вот такие вот схожие версии софта среди 1000 других программ в списке.

[xmoonlight]

Damian Lewis, это называется кластеризацией. Если начало строк ВСЕГДА одинаково до цифр (версий) - можно кластеризировать по части сначала строки до первой цифры.
И записывать в массив, например, так:

<?php
$cluster=array();
$cluster['Mozilla Firefox'][]="Mozilla Firefox 56.0.2 Final";
$cluster['Mozilla Firefox'][]="Mozilla Firefox 58.0 Final";
print_r($cluster['Mozilla Firefox']);
/*
Array
(
    [0] => Mozilla Firefox 56.0.2 Final
    [1] => Mozilla Firefox 58.0 Final
)
*/
?>

[Damian Lewis]

xmoonlight, ваш пример подразумевает, что я знаю какие в этом списке есть дубликаты. Mozilla Firefox я привел для примера. Нужно исходить из того, что я не знаю какие в этом списке есть похожие имена и мне нужно отобразить строки с похожими именами.

[xmoonlight]

Damian Lewis, ну так я задал вопрос Вам: начало строк ВСЕГДА одинаково до цифр (версий) ?

[Damian Lewis]

xmoonlight, нет, не всегда. Проблема решена. Прочитайте мой ответ в соседнем комментарии.

[xmoonlight]

Damian Lewis, ну это можно с помощью банального PHP и функцию similar_text().

Answer 2

[Сергей]

По-моему у вас не совсем полный подход к проблеме.
Дано:
Набор названий программ - массив строк.
Задача:
Найти повторяющиеся выражения в значениях массива.
Решение (прототип):
Задаем названия программ в качестве массива строк А.
Выполняем операцию разделения строк по символу (например пробел или _), чтобы сегментировать названия, и передаем полученные значения в другой массив Б.
Выполняем циклическую проверку нахождения значения из массива Б в значении массива А (например тем же RegExp /Б[i].*?/usix)
Сортируем\проверяем степень совпадения и т.д. по вкусу и выводим результат

Средства реализации по вкусу: Python, PowerShell, Bash, Perl.

Comments

[Damian Lewis]

Сергей Средства реализации по вкусу: Python, PowerShell, Bash, Perl.

Это конечно все хорошо, но как быть если я рядовой домашний пользователей который не понимает все эти Python, PowerShell, Bash, Perl?

[Сергей]

Damian Lewis, В таком случае все зависит от постановки задачи и входных данных.
Если вам это надо сделать 1-2 раза, то смысла заморачиваться нет (если список программ не исчисляется тысячами названий).
Если входящий список названий программ имеет стандартный формат, или еще лучше шаблон типа "название программы-редакция(trial\home\pro)-версия", то можно в том же Excel провести почти такую же аналитику. Пример. Если сможете выделить шаблон названий, то сможете разбить список программ на таблицу Название|Редакция|Версия, и фильтр по столбцу "Название" будет выдавать все варианты этой программы.
Проблема в том, что Аналитические задачи в общем виде не решаются, и готового решения вам не дадут. Все очень сильно зависит от входных данных.

Answer 3

[Damian Lewis]

Нашел решение проблемы. Он конечно колхозный, но результат именно такой, какой мне нужен.
Решение:
Нужен след. софт: NonCompressibleFiles(бесплатно), Advanced Renamer(бесплатно), dupeGuru (GPLv3 бесплатно).
1. Через программу NonCompressibleFiles создал столько количество файлов, сколько и строк. Допустим 100 строк, значит создал 100 файлов. Размер каждого фала сделал по 2кб. Все делается в один клик.
2. Через программу Advanced Renamer переименовал все файлы в названия строк. Все делается в один клик.
3. Через программу dupeGuru сделал поиск дубликатов по имени + % совпадения. В итоге именно такой результат, который мне нужен!
Скрин 1
Скрин 2