Алгоритмы анализа строк, токенизации?

Question

[OneManStartup]

Есть такой руби проект Picky. Это поисковик, который принимает на входе только один поисковый запрос, но может разделять смысловые части. Делается это ввиде firstname:vova lastname:gagarin.

Категорий конечно может быть много, но я хочу сделать так что-бы поисковый запрос анализировался на содержание смысловых блоков без конкретных указаний. Например по ключевым словам из словаря.

И потом если есть сомнения, система бы выдавала бы ответ ввиде «вы имели ввиду фамилию или улицу?»


Искал долго, но очень много токенизаторов работает по одному слову, т.е. не разбивают строку на несколько смысловых.

Вроде как в solr можно сделать через фильтры. Но для меня вся эта тема нова, поэтому надеюсь на подсказки, куда копать.

(если есть какие-то библиотеки в помощь на руби было бы замечательно)

Answer 1

[ksurent]

Не уверен, что правильно понял задачу, но звучит похоже на NER — Named Entity Recognition. С помощью алгоритмов NER можно выделять из текстов имена, названия географических объектов и т.п. Но это по сути простая классификация, а не семантический анализ (т.е. никакого «анализа смысла»).

Comments

[OneManStartup]

Да вчера ночью начитался, да это NER. И есть несколько подходов, использовать классификатор(к примеру Наивный байесовский классификатор) или использовать регулярные выражения. Осталось только понять, что использовать лучше. И как классифицировать. Я вижу только как натаскивать классификатор по отдельным токенам и связкам токенов. Сложная конечно тема для меня, но интересная)

[yourmary]

Если тема интересная, можно посмотреть для общего развития стэнфордский курс (просмотр видео вроде доступен независимо от курса). Про NER есть в четвертой неделе.

[Cybersoph]

А что Вы понимаете под «смысловыми блоками»? И почему эти вещи, которые Вы называете то «блоками», то «частями», являются «смысловыми»? Что Вы понимаете под этим термином?

[OneManStartup]

2yourmary, уау спасибо за такую ссылку.
2Cybersoph, это просто мое косноязычие) А так я имел ввиду токены, которые можно определить как какой-либо тип данных. Т.е. как в гугле если вбить 200 pounds то он тебе скажет сколько это в килограммах.

Answer 2

[lightcaster]

Лучше использовать классификатор. Регулярками — только если что-то очень простое с устоявшимся паттерном (номера телефонов). По алгоритмам, лучше CRF. Наивный байес тоже подойдет. Главное, хороший корпус для тренировки.

А, да, еще можете сюда глянуть — www.freebase.com/. Гугловый проект, там народ вручную вбивает.

И да, не бросайтесь терминами «смысл». Народ, кто занимается с нлп этого не очень любит :).

Comments

[OneManStartup]

Спасибо, ну вот к примеру если искать время и дату, тут вроде как и регулярки подойдут, но я так думаю что лучше все равно сделать несколько вариантов, а потом замерить F-Measure и сравнит точность.

[lightcaster]

Именно так. Измеряйте. И если простые методы работают лучше, используйте их.