ivodopyanov

В розовых мечтах "нейросеть для чатбота" - это seq2seq модель. Подали на вход реплику пользователя, получили на выходе реплику оператора. Можете читать инфу, начиная с самого термина seq2seq, и дальше про attention и transformer.

В суровых реалиях "нейросеть для чатбота" - это просто классификация текста (интента = о чем говорит пользователь в своей реплике) и дальше куча ифов, описывающих сценарий поведения чатбота. Плюс регулярные выражения/газеттиры/готовые библиотеки, чтобы выделить ФИО, телефон, адрес, урл и т.д.

1. Использовать для этого CNN - это как нарезать хлеб, скажем, наушниками. Они немножко для других целей.
2. Изображение графика - это производная информация от исходных данных. Если вам надо решить задачу - работайте с данными в виде временной последовательности.
3. Даже я, смотря на график, не могу понять логики, по которой выделены зоны. С чего вдруг сетка поймет?
4. Keras, Tensorflow.

https://playground.tensorflow.org/
Тут можно поиграться с количеством слоев и нейронов в тривиальной сети и посмотреть, как эти параметры влияют на выразительность модели.

У меня есть такой проект. Я там использовал Tensorflow для ML + redis как in-memory database и message queue (т.к. ML тяжеловесный, и его лучше выносить в отдельный процесс) + Django.

Скорее всего, проблема не в архитектуре сети, а в данных. Например, такая ошибка может возникать, если один из сэмплов оказался нулевой длины. При этом там и градиенты будут NaN, и веса, через которые они проходят, тоже обращаются в NaN.

Нули в первом примере вывода выглядят подозрительно. Обычно 0 - это просто бланк, чтобы длину последовательности до нужного размера добить, а OOV-слова и конец фразы помечаются отдельными кодами\символами.

Самый простой вариант с нейронными сетями -просто сконкатенировать вектора характеристик этих трех команд, и дальше - как обычно, fully connected слои, в конце softmax и 3 выхода 0/1 для каждой команды.

Но вообще такие задачи вроде как ощутимо лучше решаются градиентным бустингом.

Конкретно для именованных сущностей типа городов или фио, лучше использовать словарь этих сущностей, при нахождении в тексте - заменить на какой-нибудь токен (%город%, %имя%, %фамилия%), и дальше работать с этим токеном. Потому что для логики работы модели почти наверняка не важно, какой именно город был назван; важно, был ли он назван вообще или нет.

Самый простой способ получить векторное представление слова - просто сначала составить словарь используемых слов в датасете, и потом заменить слово на его id в этом словаре или на one-hot представление.
Более умные варианты - это word embeddings, когда id слова соответствует какой-то вектор, полученный заранее или обучаемый в ходе работы модели. Есть еще варианты с кодированием пар\триплетов букв в слове.

https://keras.io/layers/recurrent/

Input shape
3D tensor with shape (batch_size, timesteps, input_dim).

<количество примеров в одном батче, длина последовательности, размерность одного элемента>

LSTM предполагает, что каждый элемент последовательности - это вектор. В случае, когда в базовом варианте они - какие-то числа (например, id слова в словаре), то его перегоняют в one-hot encoding или через embedding слой.
Если длина последовательности разная от примера к примеру, то её обычно добивают нулями так, чтобы для всех в батче была одинаковая.

Потому что нейронные сети - это, как правило, программы не очень большие по объему, но которые приходится часто изменять, чтобы подобрать оптимальную архитектуру, предобработку данных и прочее. Поэтому проблем с легаси кодом почти нет, а есть требования к быстрой разработке. Python этому удовлетворяет лучше, чем C++ или Java.

Фреймворки для машинного обучения - это часто фронтенд на Python или Torch и бэкендом на C++.

https://github.com/RedditSota/state-of-the-art-res...
Вот тут есть ссылки на SOTA (state-of-the-art) архитектуры для различных задач + их реализации на различных языках. Можно взять какое-нибудь решение с результатами на более-менее нормальном датасете (не на MNIST), разобраться как засунуть туда данные и прокрутить.