Какие существуют методы извлечения Фамилии Имени Отчества из текста?
Какие существуют методы извлечения Фамилии Имени Отчества из текста?
Сложно конечно предположить наличиие какого-либо универсального алгоритма, скорее интересуют практические наработки и статьи, дающее представление о направлениях в каких можно двигаться.
Интересуют возможности выделения ФИО в формате "Путин В.В./Путин Владминир Владимирович/Владминир Владимирович" (в разных падежах) и т.д.
Теорию (если интересно) можно поискать по словосочетаниям Named Entity Recognition (and Classification), NER, NERC. Более-менее стандартный подход на соревнованиях по этой теме: словари + машинное обучение.
ну вот сходу шаблон для написания regexp:
1. два или три слова (разделитель: не буква или цифра (или несколько))
2. все 1-е буквы - заглавные,
3. минимум одно слово - состоит НЕ из 1 буквы.
4. если слово из 1-й буквы - следующий символ обязательно: "." (точка)
5 расстояние Левенштейна по словарю имен, фамилий и отчеств (через их сочетания).
Не троллинга ради, но пользы для (экзотика, но может быть и актуально):
Салтыков-Щедрин
О'Генри (кстати, а какой символ для апострофа нравится именно вам)
Мак-Дональд
Бердымухамедов, Гурбангулы Мяликгулыевич
Отбой. Если кому интересно Яндекс некоторое время назад опубликовал исходные тексты tomita парсера (github.com/yandex/tomita-parser). Надо признать кода очень много и изучить его работы изнутри будет достаточно интересно, но касательно заданного вопроса вывод такой: используются данные из mystem и достаточно большое кол-во правил (код на C++).
Гугл работает над семантическим поиском, там каждому имени и фимилии присвоен отдельный крякозябр (/m/05qt0" - Politics, Путин есть на русском и даже Мизулина ) с чёрточками (ну и остальным словам, уже поиск работает, у меня тодже по нескольким выражениям), по английскому запросто а по русски там мало слов. v3 это типо там надо искать. Лет через 10 такой проблемы наверное не возникнет.
Должны существовать корпуса со списком всех имён/фамилий/отчеств. Как минимум, можно автоматически выбрать из википедии или dbpedia (структурированные данные из википедии).
1. Находим корпуса или формируем свой.
2. Делаем поиск на совпадение хотя бы с одним словом (лучше, на частичное совпадени — на случай опечаток и всяких склонений).
3. Когда находим, выделяем окрестность слова (пара слов влево-вправо) и анализируем его эвристиками.
Если задача серьёзная (не хобби), то раз упомянули томиту, упомяну и такую молотилку текстов: ABBYY Tagger. Словари и правила в комплекте. Но вариант не бюджетный.
Минус указанного решения даже не в деньгах (цена допустима), а в том, что решение является черным ящиком, сложно встраиваемым в создаваемый продукт. Вопрос задавался с целью: после ознакомления реализовать данный функционал.
fedor_malyshkin: Чёрный ящик - это не всегда плохо (иначе направления SDK-продуктов не существовало бы:). Как минимум, стоит сравнить известные готовые решения по таким параметрам, как точность, цена, время внедрения.
Поставленная задача не имеет готового (даже теоретического) решения, несмотря на то, что она очень востребована (конференция на эту тему: nlp.cs.rpi.edu/kbp/2014/elreading.html). Т.е. с ходу и на коленке хорошо (идеально) не решается. Но попробовать интересно, да :)
Материалов я немного накидал, желаю удачи! :)
P.S. Если найдётся хороший общедоступный список имён/фамилий/отчеств - поделитесь, pls, с сообществом.
Это называется задача распознавания именованных сущностей (named entity recognition). В вашем случае имен персон. Наш продукт Textocat API умеет это делать: убедитесь в этом сами на странице демо для русского языка или получите бесплатный ключ к API после регистрации на нашем сайте.
