Разбор поисковой фразы на конкретные запросы. Как?

Question

[Meliborn]

Представьте, что есть большая форма с полями для поиска информации, например автомобилей. Каждый раз заполнять ее долго и муторно. В качестве альтернативы было выбрано одно поле, куда пользователь может вводить произвольный текст. Задача была распознать в этом тексте поисковые параметры и смапить на запрос. Сейчас пошел в лоб, обычные регулярки на стоп слова. Но я уже сто раз успел пожалеть об этом, вечно попадаются исключения из правил, слишком много вариантов написания поискового запроса и т.д.

В какую сторону смотреть для более качественного вычленения поисковых параметров из произвольно фразы? Нейронные сети? С чего начать, если да?

Comments

[Everything_is_not_so_bad]

Можно привести несколько примеров запросов?

[Meliborn]

Роман: например про недвижимость, двухкомнатные квартиры в Минске на дзержинского до 80000, можете здесь попробовать resta.by/real_estates

Answer 1

[Everything_is_not_so_bad]

Смотреть в сторону лексических анализаторов, теории компиляторов - для получения абстрактного дерева, которое можно обратить в запрос(ы).

Нейросети, по-хорошему, нужно оставить в стороне. Навряд ли они понадобятся на каком-либо этапе.

Comments

[Meliborn]

а может есть что-то из известного? либа, гем, и т.д.

[Everything_is_not_so_bad]

Meliborn: Не знаю таких. А ещё нужно обратить внимание на Информационный поиск. Но, чую, в одиночку это точно гиблое дело.

[Everything_is_not_so_bad]

Meliborn: Можно попробовать собрать приличную выборку всех запросов и вручную попытаться как-то систематизировать их, вычленить какие-то общие правила, найти общие виды сочетаний слов.

[Meliborn]

Роман: сейчас так и сделано, но всегда найдутся запросы хитрее и уже получается бешено растущий список исключений

[Everything_is_not_so_bad]

Meliborn: теперь понял почему нейросети понадобились.

Answer 2

[sim3x]

Томита парсер и анализ запросов клиентов

Для обучения сети тебе понадобится много человек для создания выборки

В общем случае для одного человека задача не стоит затраченного времени - проще подключить поисковую систему или использовать sphinxsearch.com

Comments

[Meliborn]

А каким образом тут сфинкс поможет? Пример запроса я написал в комментарии к вопросу

[Dimonchik]

двухкомнатн квартир Минск дзержинск 80000

[Dimonchik]

само собой, сфинкс тоже нужно будет этому научить: двухкомнатная, двух-комнатная,2х комнатная

[Meliborn]

dimonchik2013: так в чем тогда профит?

[Dimonchik]

в быстром сфинксе, в ненужности изобретать регулярки
ну и банальные поисковые подсказки тоже помогут, грамотно организованные, аки в яндекс картах

[Meliborn]

dimonchik2013: так полнотекстовый давно и в мускуле есть. проблема остается та же, нужно, грубо говоря, все случаи предусмотреть

[sim3x]

Meliborn: сравнивать профильный продукт с... мускулом несколько странно

Если тебе нужно быстрое решения, я его назвал, если тебе нужно помучаться - я его также назвал

[Meliborn]

я имел ввиду mysql vs sphinx, скорость в данном случае не играет никакой роли, пользователь даже не заметит разницы. проблема в точности. Томита...что то похожее, да, но какой-то уж высокий порог вхождения и нет реализации под нужный язык. Думаю может делать лемматизцию и для каждой записи, по которой будет идти поиск, генерировать индекс на основе колонок, по которым будет поиск

[sim3x]

Meliborn:
mysql vs sphinx - дело не в скорости, а в качестве поиска

Томита - инструмент для разбора есстественного языка, поиск по тому что томита даст тебе нужно будет делать самому. И яндекс не дает исходников к нему. так что фраза "нет реализации под нужный язык" вообще непонятна. Если что, то Томита предназначена для разбора русского

"Думаю может делать лемматизцию и для каждой записи, по которой будет идти поиск, генерировать индекс на основе колонок, по которым будет поиск" - что никак не приблизит тебя к тому, что нужно делать natural language processing

[Meliborn]

sim3x: под языком я имел ввиду язык программирования. и почему это не приблизит? если все запросы будет стемером прогонятся, как и, собственно, индекс