Как именно работают рекурентные нейронные сети?

Question

[qqqaa]

Изучаю нейронные сети, а точнее, рекурентные нейронные сети, и столкнулся с вопросом, ответ на который нигде в интернете не нашел. Ниже представлена картинка 3-х циклов работы рекурентной нейронной сети.
Как видно, к каждому скрытому слою подходит по 2 стрелочки - изменяющиеся входные данные и данные с предыдущей итерации. Как взаимодействуют эти данные между собой? Эти 2 вектора просто почленно складываются, или что?

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента.

[Модератор]

На вопрос «как работает» отвечает документация и поиск в интернет.

Тут отвечают на вопросы «почему я сделал, как в документации, а оно не работает. Поискал в интернет, вот запросы, в ответах не нашел. Что я делаю не так?»

Покажите, как вы пробовали решить проблему, приведите код попытки (пусть неудачной), опишите, как запускали, что ожидали и что получилось.
За готовыми решениями - на фриланс. В текущем виде это не вопрос, а задание. Нарушен п.5.12 Регламента.

Answer 1

[Александр Скуснов]

Конкатенация. Т.е. ко входному вектору добавьте (соедините) предыдущий выход. Тогда матрица весов это соединение двух матриц.
Самое лучшее, приведите пример из какой-нибудь библиотеки Питона, тогда будет понятнее.
Сейчас же они обычно используются в виде LSTM, GRU.

Answer 2

[kamenyuga]

Шолле "Глубокое обучение на Пайтон" - содержит краткое объяснение принципа работы рекуррентных нейросетей - простейших и реальных, а потом прикладной код на питоне. Больше теории и матана - Гудфеллоу "Глубокое обучение".

Если в двух словах, то на каждый нейрон рекуррентного слоя приходят входной вектор данных, вектор данных скрытого слоя и вектор данных керри-слоя. Для каждого свои веса. В итоге все складывается, добавляется вес-байас. Все это оборачивается в функцию активации. Все, выход с одного нейрона готов. Потом считаем новые керри-данные, новые данные скрытого слоя, берем следующие входные данные, повторяем. Так применяется ЛСТМ.