У кого есть программная реализация lstm ячейки на python or c?

Question

[Евгений Лернер]

Здравствуйте! Я не смог найти. Масса примеров работы с пакетами, но я хотел бы посмотреть как работает сама ячейка.

Answer 1

[Александр Скуснов]

Алгоритмы есть в Википедии, можно реализовывать на любом языке.
Пример на С из Гитхаба (автор пишет, что позаимствовал алгоритм у Андрея Карпатого, наверняка у того на Питоне).
На самом деле есть несколько модификаций архитектуры. Даже более продвинутые (по скорости и экономии памяти) получили своё название: GRU (gate reccurent unit).

Comments

[Евгений Лернер]

Спасибо. Алгоритмы известны , хотелось посмотреть реализацию.

[Евгений Лернер]

Есть куча модификаций архитектуры. В основном это lstm gru. Gru быстрее и пишут что такой же эффективный. Сомневаюсь

[Александр Скуснов]

Вообще-то современные архитектуры перешли на матрицы корреляции (внимание-attention, трансформеры), позволяющие параллельную обработку большого куска входа, так что свёрточные фильтры и ячейки памяти ушли в прошлое.

[Евгений Лернер]

Александр Скуснов, дойдем и до этого. Я вот хочу кусок входа в 32 числа разложить в Уолша. И результат обрабатывать . Об этом задал тут вопрос. Интуитивно понятно что реекурентная сеть это извращение