Как реализовать неточный поиск вхождений в документ?

Question

[chemiron]

Здравствуйте.
Есть таблица содержащая 10к+ имен. Кроме того есть тысячи сканированных pdf файлов распознаных с помощью tesseract. Документы не имеют какой-то четко выраженной структуры, имеются ошибки распознавания символов. Нужно организовать неточный поиск вхождений имен из базы в каждом из документов (допускается наличие 1-2 ошибок при поиске). Какие возможные варианты можете предложить? Спасибо

P.S. Разработка ведется на python

Answer 1

[Олег Цилюрик]

Какие возможные варианты можете предложить?

- устанавливаете численную "метрику" расхождения символов: например, и-й, д-л ... это достаточно близко - 1, э-я - весьма далеко - 5 ... полное совпадение - 0
- но можете использовать и просто абсолютную величину разницы кодов символов ...
- подсчитываете посимвольно сумму расхождений метрик слов (расстояние): 0 - точное совпадение, 1 - кое-как и т.д.
- определяет порог совпадений ... скажем 4 ...
- слова с расстоянием < порога - тождественные, > - различающиеся.