Какие архитектуры с механизмом внимания появились после transformer?

Question

[Евгений Лернер]

Здравствуйте! Что ещё нового придумали?

Answer 1

[d'Ivan]

Есть архитектуры без внимания:

Mamba replaces the complex attention and MLP blocks of Transformers with a single, unified SSM block.

https://en.wikipedia.org/wiki/Mamba_(deep_learning...