Как определить схожесть(рерайт, уникальность) 2ух текстов на Go(Golang)?

Question

[inbider]

Всех приветствую!)

Господа, необходимо определить схожесть(рерайт, уникальность) двух(и более) текстов между собой. Может кто сталкивался с подобной задачей, поделитесь советами, ссылками на библиотеки.

П.С. Заранее благодарен!

Answer 1

[inbider]

Задача оказалась довольно не тривиальной и кейсов её решения довольно много, но кому интересно копать можно начать вот отсюда: https://4gophers.ru/articles/semanticheski-analiz-...

Answer 2

[asd111]

Для python есть difflib. Код ниже не проверял, но должно работать

from difflib import SequenceMatcher
file_1 = "text_1.txt"
file_2 = "text_2.txt"
s = SequenceMatcher(lambda x: x == " ", # пропускаем пробелы
                    file_1.read(),
                    file_2.read())
print(round(s.ratio(), 3)) # число от 0 до 1. 0 - совсем не похожи ; 1 - идентичный текст

Всё это дело на python можно легко распараллелить и т.п.

Comments

[Astrohas]

Огромное спасибо Вам. Не знал что у питона есть что-то подобное