Алгоритмы распознания команд?

Question

[Вячеслав Шевченко]

Всем привет.
Задача следующая:

1. Пользователь произносит команду скрипт превращает ее в текст. Это ерунда, можно использовать внешние сервисы, суть вопроса не в этом
   
2. далее программа должна понять что есть что. в команде
   Например:
   
   • включить светильник
     
   • белый светильник включить
     
   • включить светильник в углу
     
   • включить два светильника
     
   
   и так далее. Система должна понять что:
   
   • "включить" - это действие
     
   • "светильник"- предмет
     
   • "белый светильник" - предмет
     
   • "светильник в углу" - предмет
     
   • "два" - количество предметов
     
   
   

В примере используется "Светильник", но я не знаю какие предметы могут быть. Нужно что-то универсальное. Принцип примерно напоминает разбор предложения на члены предложения, сказуемое, подлежащее, определение.
Получается что на входе у нас текст команды, а на выходе: команда в виде предмет, количество, действие.
В какую сторону копать?

Comments

[longclaps]

42

Answer 1

[Labunsky]

Для обработки коротких комманд нет смысла в использовании нейронных сетей и прочей тяжелой артиллерии.
Получаемые комманды (в смысле действия) известны заранее, все количественные параметры и сами объекты тоже. Тогда обработка комманды сводится к обработке токенов-слов для определения действия, объектов и их характеристик, и все они известны программе на момент поступления.

Пример

Известные действия: {включить, выключить}
Известные объекты с характеристиками: {светильник={синий, в углу}, светильник={белый, на тумбе}}
Поступающая комманда: "белый светильник включить"
Токены комманды: {белый, светильник, включить}

Шаги алгоритма:
1. Находим токен-действие - "включить";
2. Находим токен-объект по ключу известных объектов: "светильник";
3. Оставшиеся токены ("белый") - характеристики. Проверяем все объекты с ключом "светильник" на наличие характеристики "белый", находим нужный;
4. ???;
5. Комманда обработана - найдено действие и объект.

Comments

[Вячеслав Шевченко]

В том-то и дело что не известно. Точнее известны только: единицы измерения предметов(штуки, литры, метры и прочее), команды(включить, выключит, перезагрузить и прочее) а вот сами предметы нет. Вот я и думаю для начала создать словари для команд, единиц и определять их в первую очередь а вот что не распознали будем считать предметом.

[Labunsky]

WebDev2030: сами предметы должны как минимум добавляться пользователем, а значит, храниться где-нибудь в базе приложения. В противном случае, приложение не сможет ни коим образом с ними взаимодействовать. Простой пример: откуда оно поймет, что лампу вообще можно включать/выключать, если пользователь или разработчик (в зависимости от концепции) не сообщит это ему заранее? И что тогда будет, если пользователь предложит лампе проехать 10 метров и повернуть направо?

Единицы изменения и команды должны же быть в приложении в виде словарей в любом случае, это подразумевалось.

[Labunsky]

WebDev2030: Ну и конечно же, как вообще будет осуществляться поиск объекта по базе добавленных после распознавания, если они в ней не хранятся?

[Вячеслав Шевченко]

Задача стоит не в выполнении команде, а просто в ее получении. Т.е. мне нужно понять что есть что в произнесённой фразе и понятие "команда" взята для чтобы не тратить время на введение в суть проекта.

[Labunsky]

Вячеслав Шевченко: если дело в фильтрации комманд вне сервиса-исполнителя, то да, остается вариант проверки по известным действиям и поддерживаемым характеристикам (в т.ч. численным). Но мне сложно представить сервис, который работает с коммандами, но заранее не знает, к чему они могут применяться :)

Answer 2

[xmoonlight]

1. Определение части речи: https://habrahabr.ru/post/152389/
2. Для сравнения полученного текста (с микрофона) и заранее созданых ожидаемых команд (или их шаблонов) - нечёткий поиск Stumper API.

Answer 3

[anti_bug]

У Яндекса целый стек технологий для решения задач распознавания речи и текста на русском языке. Посмотрите в эту сторону, например - https://tech.yandex.ru/mystem/doc/usage-examples-d...

Comments

[Вячеслав Шевченко]

Да, я про них знаю, но вот после распознания нужно полученный текст осмыслить в команду.