Задать вопрос
@ehevnlem
Программирую с 1975, в интернете с 1993.
машинное-обучение

Какие архитектуры с механизмом внимания появились после transformer?

Здравствуйте! Что ещё нового придумали?
  • Вопрос задан
  • 177 просмотров
Комментировать
Подписаться 2 Средний Комментировать
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Специалист по Data Science
    13 месяцев
    Далее
  • Нетология
    Data Scientist: расширенный курс
    13 месяцев
    Далее
  • OTUS
    Machine Learning. Professional
    5 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
2ord
@2ord
Есть архитектуры без внимания:
Mamba replaces the complex attention and MLP blocks of Transformers with a single, unified SSM block.

https://en.wikipedia.org/wiki/Mamba_(deep_learning...
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Программист (разработчик) flutter
Made In Dream • Санкт-Петербург
от 100 000 до 220 000 ₽
SEO специалист
W3Promo • Москва
от 45 000 до 80 000 ₽
Senior Frontend-разработчик
SMALL • Алматы
от 3 000 до 4 000 $
Ещё вакансии