Как ограничить доступный алфавит в рекурентной сети для генерации текста?

Question

[ivodopyanov]

Есть классическая задача - обучить RNN генерации текста. Допустим, я хочу, чтобы каждый очередной символ в последовательности выбирался не из всего алфавита, а из какого-то его подмножества, которое каждый раз меняется. Правило выборки этого подмножества можно задать битовой маской для каждой начальной последовательности символов из обучающей выборки.
Подскажите, как можно учесть это ограничение в архитектуре нейронной сети?

Comments

[d'Ivan]

Речь о генерации чего-то осмысленного? Нейросеть не умеет выражать мысли.

[ivodopyanov]

Генерации последовательностей символов, наиболее близких к обучающей выборке