Как подготовить текстовые данные в Keras для обучения Encoder-Decoder LSTM сети (sequence-to-sequence)?

Question

[drlafa]

Допустим есть последовательность текста для входа на нейронную сеть X_train: ["Привет", "как", "дела", "?"]
И ответ на эту последовательность Y_train: ["Всё", "отлично"]

Как правильно подготовить эти данные, токенизировать, привести в матричный режим, что бы можно было скормить нейронной сети при обучении?
model.fit(X_train, Y_train)

Answer 1

[xdgadd]

Гуглите NLP, text preprocessing и word embeddings. Способов много и зависят они от архитектуры модели, вашей задачи, типа и качества текста.
Алсо, в керасе есть embedding layers, через них можно пропускать уже готовые вектора, e.g. word2vec, OHE.

P.S. Для большей гибкости рекомендую вам попробовать Lasagne или Tensorflow. Keras хорош, когда задачу нужно решить быстро, с минимумом кода и теории. А для экспериментов и обучения лучше использовать более близкие к "железу"(менее абстрактные) инструменты.

Comments

[drlafa]

Архитектура сети: LSTM Encoder-Decoder
Тип текста:
Обучающая выборка X_train: ["Привет как дела?", "Ещё одна последовательность текста", "И т.д."]
Ответ на обучающую выборку Y_train: ["Дела у меня хорошо", "Ответ на последовательность", "И т.д."]

[xdgadd]

drlafa: т.е, вы делаете чат бота. У меня с чат-ботами опыта ноль, но в теории это похоже на генератор текста, только сидом является реплика.

Для начала можете погуглить LSTM text generator и LSTM based chat bots.
Про обработку текста чуть-чуть есть здесь. Откройте этот контест на кэгле, там в дискуссиях есть несколько тетрадок с готовым кодом.

[drlafa]

xdgadd: спасибо, буду гуглить

Answer 2

[Александр Пожарский]

1. токенизировать - возможно, nltk.tokenize ?
2. далее, вероятно, стоит удалить стоп-слова. Например, полученные от nltk.stopwords
3. (вероятно, будет толк от стемминга - например, nltk.stem)
4. далее - например, заменить слова/корни (после стеминга) каким-либо embedding-м (который поставит в соответствие каждому слову вектор) - например, word2vec. Ну или использовать собственный embedding. Например (но это явно затратный в плане памяти путь):
4.1. создать словарь, содержащий все слова обучающей выборки
4.2. поставить в соответствие каждому слову его номер. Тогда текст будет представлен одномерным массивом чисел
4.3. подменить каждое число вектором, где N-й элемент равен 1, остальные - 0. А N - собственно, наше число
4.4. добавить на вход сети embedding слой и обратный на выход