Поиск в базе и нейронная сеть

Question

[Михаил Баженов]

Привет!

Пишу диплом.

Назрела пара вопросов:
Можно ли при помощи нейронной сети осуществлять поиск по базе не выгружая всю базу в неё? То есть делать какие то индексы, но для нейронной сети.

Как планируется работа сети?

В MongoDB хранятся документы: автомобили.
В строку поиска мы вводим запрос "Автомобиль для семьи"
И нейронная основываясь на опыте, выдаст нужные авто, а если в базе появились и новые авто то подхватит и их если они подходят и добавит в индекс.
То есть по факту мы получаем запрос строку и отвечаем набором JSON объектов.

Как можно реализовать подобное и что почитать?
Нашёл кучу литературы и теории, но связать с практикой не получается..
Может есть примеры исходников?

Answer 1

[Сергей]

В вашем случае нейронная сеть идеально подходит для кластеризации множества всех автомобилей в базе на определенные группы, которые идеальны для "семьи", "молодежи", "пенсионеров" и т.п.

Т.е. на вход такой НС вы можете подавать параметры автомобиля, а на выходе набор весов характеризующих насколько хорошо данный автомобиль подходит под перечисленные выше категории. Таким образом, вы можете обучить НС выбирать лучшие варианты для конкретных задач.

Определение же той задачи, которая нужна пользователю -- либо "лучшая машина для семьи", "лучшая машина для молодежи", т.е. определение той категории для которой вы хотите получить выборку можно делать на основе теории вероятности, например посмотрите на наивный байесовый классификатор. НС для лингвистики не очень подходит (разве что вы исходный запрос преобразуете в набор некоторых числовых параметров и скормите его НС).

Comments

[Михаил Баженов]

@begemot_sun Спасибо, мне нравится ваш ответ.
Классификацию запросов уже сделал, вроде как работает более менее. Остался вопрос с нейронной сетью.

Как можно решить вопрос кеширования?
Ведь по логике мы должны пропустить все автомобили через сеть..

И как нейронной сети давать на вход параметры отличные 0 и 1. Ведь я насколько я знаю она работает только с такими параметрами. Если не получится то нужно очень сильно подумать как всё преобразовать..
Есть что почитать именно на эту тему?

И кстати нормально обученная нейронная сеть долго загружается в память? И сколько места занимает?

[Сергей]

@benign делаете таблицу:
1. id машины
2. а дальше много клолонок, каждая из которых отвечает за один из кластеров (семья, молодежь и т.п).

С помощью обученной НС заполняете такую таблицу. Получаете профит в виде кеша. Можете сортировать по одному столбцу, или по нескольким. ввести определенную метрику А*семья + B * молодежь и т.п. фантазии

> И кстати нормально обученная нейронная сеть долго загружается в память? --- Вот сразу видно в вас ПХПшника-скриптовальщика.

Обучение НС сродни искусству, в одним случаях обучение может быть быстрым в других медленным. Также как и выбор структуры НС.

[Михаил Баженов]

@begemot_sun почему же пхпшник..
С#, node.js в основном...

Спасибо идею понял буду думать.

[Сергей]

почитайте про кластеризацию, сети обратного распространения ошибки, сети Кохоннена, классификация и т.п.

Answer 2

[Сергей Протько]

Нейронная сеть тут не поможет и выглядит лишней. Вам нужно на основе запроса генерировать параметры выборки, то есть еще до этапа выборки из mongo.

Comments

[Михаил Баженов]

Если предположить что сеть основываясь на выборе пользователя и самообучении, может предоставлять пользователю тот вариант, который мы никогда не смогли бы получить при помощи обычного фильтра. То по мне так она очень даже подходит..

Есть ли возможность обучать сеть таким образом и какие из видов сетей вообще способны на подобное?

Например:
network.train('Автомобиль для семьи',{ marka: 'Honda', model: 'Odysey', mest: 8, rashod: 12 })

[Сергей Протько]

@benign, вам полезнее будет сделать дерево принятия решений на каждый параметр выборки.

[Сергей Протько]

@benign, еще вам нужно решить проблему нормализации текста, склонения там и т.д. Нейронные сети применяют при обработке какого-то сигнала, а у вас сигнала нету. Почитайте про классификации текстов и т.д.

[Сергей Протько]

@benign, и то что вы описали, вы хотите сеть с обучением без учителя? Больше похоже на SVM классификатор.

Я помню как-то занимался подобным, но увы больше подсказать гуглить по "Bag-of-words" не подскажу.

[Михаил Баженов]

@Fesor да не спорю можно, просто транслировать запрос в json запрос к бд. Но как то это грустно..

[Сергей Протько]

@benign, можете еще посмотреть в сторону ElasticSearch, или же еще есть интересная реализация:
whoosh.readthedocs.org/en/latest/index.html