d'Ivan

Есть архитектуры без внимания:

Mamba replaces the complex attention and MLP blocks of Transformers with a single, unified SSM block.

https://en.wikipedia.org/wiki/Mamba_(deep_learning...

Локаль - проще всего, это и есть язык + регион.
Для определения по тексту есть библиотеки, сервисы API.
Поиск: Language Detection (library OR API)

Что выбрать и как поступить не знаю.

Мы тоже не знаем. Пробуйте и выбирайте сами.

Я думаю что лучше на заказ выполнить перевод. Ну или воспользоваться платным API у Microsoft/Google.