Как тренировать нейросети с LSTM в keras?

Question

[notxleb]

Я хочу предсказывать следующее слово по предыдущему. У меня есть данные вида "[[0,1],[1,2],[3,4] ... ]". Допустим я хочу тренировать через train_on_batch().В каком виде(shape) я должен подавать тренировочные данные?

Answer 1

[ivodopyanov]

https://keras.io/layers/recurrent/

Input shape
3D tensor with shape (batch_size, timesteps, input_dim).

<количество примеров в одном батче, длина последовательности, размерность одного элемента>

LSTM предполагает, что каждый элемент последовательности - это вектор. В случае, когда в базовом варианте они - какие-то числа (например, id слова в словаре), то его перегоняют в one-hot encoding или через embedding слой.
Если длина последовательности разная от примера к примеру, то её обычно добивают нулями так, чтобы для всех в батче была одинаковая.

Comments

[notxleb]

А что если у меня архитектура построена Emb -> LSTM? Input для LSTM слоя мы не указываем. Допустим, я хочу сделать, чтобы НС предсказывала следующее слово по предыдущему, то есть word2word. Какой размерности я должен подавать данные для тренировки?

[ivodopyanov]

notxleb, в этом случае входом на LSTM будет выход из embedding слоя. Примерно вот так (только тут решается задача классификации) https://github.com/keras-team/keras/blob/master/ex...