Поиск повторяющихся фрагментов текста?

Question

[Игорь Статкевич]

Добрый день, может у кого был опыт, необходим алгоритм/подсказка в каком направлении копать.
Есть большие переписки по email, необходима анонимизация переписки, необходимо убрать подписи из текста писем:

Вася Пупкин
Менеджер
телефон [phone]
адрес 523645653

Можно было бы собрать все в один текст, и вычленить повторяющиеся куски текста, тогда примерно это и были бы подписи, но как найти именно куски (несколько строк) повторяющегося текста.

Comments

[Ivan Yakushenko]

Не. Вот например в том, что ты написал повторяются:
3- текста, 2- переписки, 2 - подписи, 2- куски.
Нужно брать большое кол-во писем и разбирать их по шаблону, а не по конкретным словам. Делать проверки с регулярками, что бы убедиться что в строках действительно есть такие данные, как имя/фамилия и т.д.

[Ivan Yakushenko]

И да, это повторения без учета всяких в/на/о/бы/это/и и т.д.

[Игорь Статкевич]

Ivan Yakushenko, Посчитать количество повторяющихся слов или даже строчек не проблема и как это сделать знает каждый школьник. Интересуют именно куски (несколько строк), подпись проставленная в нескольких места автоматически становиться дубликатом.
Регулярки это бред ну найду я почту и телефон, а как определить имя или название организации в подписи, да мало ли что там будет ?

[Владимир Куц]

> но как найти именно куски (несколько строк) повторяющегося текста.
По вашему алгоритму оно еще и цитаты повырезает...

можно регулярками + логикой
нашли телефон +1 балл
Нашли в пределах -пары-тройки строк вверх или вниз от телефона подобие адреса по регулярке +1 балл
Нашли в пределах -пары-тройки строк вверх или вниз от телефона подобие ФИО (можно использовать словарь имен и фамилий) +1 балл
и т.п.

Если суммарное количество баллов для фрагмента превысило пороговое - значит с определенной вероятностью можно сказать - нашли подпись...

[Ivan Yakushenko]

Игорь Статкевич, еще раз говорю - подобное делается анализом структуры документов. В большинстве случаев имя и фамилия пишутся друг после друга с большой буквы. Т.е. берем регулярку и ищем строку в которой слово с большой буквы, после него символьный пробел и еще одно слово с большой буквы. Проверяем регулярку на, допустим тыще писем, смотрим те, где регулярка сработала не правильно - правим условия, расширяем.
Искать повторяющиеся блоки текста - это плохая идея по многим причинам, в том числе по озвученной Владимир Куц.

[Игорь Статкевич]

Владимир Куц, Может быть не так изложил и вы не так поняли, имелось ввиду следующее:
взять эту кучу писем сложить в один файл и пробежать по нему, подписи будет повторяться в некоторых письмам, а текс в переписках по большому счету везде разный, поэтому и возникла идея проверки блоков текста (нескольких строк) а не строчек или узких фраз.

Ваша идея вполне хороша, имелась такая мысль, но необходима реализация и тесты, поэтому интересовался может кто уже сталкивался и реализовывал похожее.

Answer 1

[Денис]

Привет. Не до конца уверен, но возможно тебе могут помочь регулярные выражения. Попробуй с ними поработать, может получиться

Answer 2

[Umpiro]

Возможно, вам поможет библиотека textblob. А именно, эта часть: Tutorial: Building a Text Classification System. В качестве примера:

#!/usr/bin/python
from textblob import TextBlob
from textblob.classifiers import NaiveBayesClassifier

train1 = '''
Вася Пупкин
Менеджер
телефон [phone]
адрес 523645653
'''
train2 = '''
Иван Иванов
Менеджер
телефон [phone]
адрес 513665053
'''
train3 = '''
Николас Медведев
Менеджер
телефон [phone]
адрес 526641655
'''
train = [
    (train1, 'pos'),
    (train2, 'pos'),
    (train3, 'pos'),
    ('С уважением, от команды Хабра!', 'neg'),
    ('Купите наших котиков?', 'neg'),
    ('Скидки 120% но Aliexpress.', 'neg'),
]
test = '''
Привет!
Алиса Аксенова
Менеджер
телефон [phone]
адрес 520671655
'''
cl = NaiveBayesClassifier(train)
blob = TextBlob(test, classifier=cl)
for s in blob.sentences:
    print("'{}' - {}".format(s, s.classify()))

Выдаст такое:

'Привет!' - neg
'Алиса Аксенова
Менеджер
телефон [phone]
адрес 520671655' - pos