Как нормализировать имена с помощью ML или других способов?

Question

[Максим Мельников]

Всем привет.
Появился вопрос, какими образом можно нормализировать текст, а точнее ФИО.
Например на входе у нас есть:
1)Sidorov Alexey Alex.
2)Aleksey, A. Sidorrov

На выходе должно быть что 1 = 2
Какими методами это можно сделать?

Comments

[Everything_is_not_so_bad]

Нельзя однозначно определить что "Alex."="A."

Answer 1

[Nikita Dergachov]

Нужно определить степень похожести строк и подобрать подходящий коэффициент. Можно использовать Расстояние Левенштейна

Answer 2

[ivodopyanov]

Если текст - это исключительно ФИО, то можно попробовать написать регулярок на все варианты написания; выделить отдельно Ф, И, О; обработать случаи сокращения имен; сравнить полные варианты по Левенштейну.