rPman

Лучший аудио переводчик а реальном времени, как я понимаю, это openai gpt в реальном времени. Как минимум их chatgpt при наличии подписки в 20$ на презентации этот функционал показывали. Бесплатно можно посмотреть у Майкрософт их copilot.microsoft.com (только что проверил, промпт - 'переводи каждую мою фразу на русском на английский, а с английского на русский', заработало даже без авторизации в google chrome на android, но не в россии) или он же встроенный в edge, просто вслух попросив переводить указанные языки в нужном направлении.

Точно помню были железные стартапы.

Буквально месяц/другой как открыли realtime api, на гит есть примеры аудио чата

Но есть проблема работы на смартфонах с телефонным аудио каналом, официально к нему нет доступа (можно эмулировать bluetooth гарнитуру в лучшем случае, это значит тебе нужен отдельный смартфон для перевода), поэтому не уверен что готовый софт именно для телефонного разговора кто то уже опубликовал.

Гугл лидер в автопереводе, они буквально первые придумали трансформер для этого, брать лучше его очень сложно.

Только gpt ии от топов типа openai может лучше, но и там лучше агента запилить, так как у вас требования сохранения разметки, а никто не умеет из каропки

Можешь запустить фейсбуковский переводчик локально Есть ли бесплатный api переводчика?
Kaz->Cyr у них 50 попугаев (eng->rus - 56, rus->eng 61)

в примере я указал модель всего 600м параметров, это самая маленькая из имеющихся но без проблем работает без GPU, можно использовать по больше

Запусти фейсбуковский переводчик локально (вопросы лицензии и прав использования изучи сам, если тебе для бизнеса)
https://huggingface.co/facebook/nllb-200-3.3B
(там есть куча моделей ищи nllb) код использования может быть таким (он автоматически скачает модель):

#!/usr/bin/python
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline

# available models: 'facebook/nllb-200-distilled-600M', 'facebook/nllb-200-1.3B', 'facebook/nllb-200-distilled-1.3B', 'facebook/nllb-200-3.3B'
model_name = 'facebook/nllb-200-distilled-600M'

# add .to('cuda') to use nvidia gpu 
model = AutoModelForSeq2SeqLM.from_pretrained(model_name) #.to('cuda')
tokenizer = AutoTokenizer.from_pretrained(model_name)

source = 'eng_Latn' # English
target = 'rus_Cyrl' # Russian

text = 'Information about training algorithms, parameters, fairness constraints or other applied approaches, and features. The exact training algorithm, data and the strategies to handle data imbalances for high and low resource languages that were used to train NLLB-200 is described in the paper.'

# code to use cpu only
translator = pipeline('translation', model=model, tokenizer=tokenizer, src_lang=source, tgt_lang=target)
output = translator(text, max_length=512)
translated_text = output[0]['translation_text']

# code to use gpu
#inputs = tokenizer(text, return_tensors="pt").input_ids.to('cuda')
#outputs = model.generate(inputs, max_new_tokens=512, do_sample=True, temperature=0.001, forced_bos_token_id=tokenizer.lang_code_to_id[target])
#translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

# you can loop this three code lines to translate multiple texts (it's fast even on cpu)
print(translated_text)

Список кодов языков и оценку качества перевода бери из метрик

Не хуже гугло переводчика это шутка да? компания наверное миллиарды в эти алгоритмы вбросила, а ты хочешь повторить это забесплатно?

Но наверное все же есть решение.
Благодаря сливу фейсбуковской llama наверное такой переводчик можно дообучить (если openassistent всего за 10 часов на одной машине с 4 видеокартами дообучили ее почти до уровня раннего chatgpt), т.е. на каком то открытом датасете дообучаешь сетку, оформив это в виде какого-нибудь запроса типа

### Instruction:

translate input to russian.

### Input:

текст

### Output:

Совет, используй 65G или 30G, меньшие модели - баловство, к тому же их обучающие датасеты менее мультиязычные.

Достоинство llama в том что благодаря ggreganov эту сетку можно очень шустро использовать (к сожалению не обучать, надеюсь кто-нибудь это допилит) на обычной и дешевой десктопной машине без видеокарты.

Инструкции как это делать можно почерпнуть из интернета, вот на хабре была подробная статья по файнтюнингу, задача иная но какая разница, когда имеешь дело с общим ИИ ;).

p.s. результат будет хаотичным! зависящим от того, как совпадет обучающая выборка с твоей задачей. Т.е. оно будет работать но изредка галюцинировать, вот бы научиться эти моменты прогнозировать как то.

upd. ничего не обучая, вот пример

The repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.

для openassistent 30b:

Репозиторий предоставляет код для запуска инференса с Моделью "Сейчас-что-угодно" (SAM), ссылками на загрузку обученных моделей и примерами нотбуков, которые показывают как использовать модель. [end of text]

для llama 65b:

Репозиторий предоставляет код для выполнения вывода с моделью SegmentAnything (SAM), ссылки на загрузку тренированных точек перехода, и примеры тестовых книг, которые показывают, как использовать модель.

гугл транслейт:

Репозиторий содержит код для выполнения вывода с помощью модели SegmentAnything (SAM), ссылки для загрузки контрольных точек обученной модели и примеры записных книжек, демонстрирующих, как использовать модель.

Экспериментально выставил temp 0.1, по уму дефолтно все работает, само собой в ответе будет мусор, что то сетка от себя добавит, это нужно понимать, тюнить стоп слова и т.п.

раздели текст по абзацам и переведи, 10 минут покликать мышкой нет проблем.

Лучший открытый проект по работе с распознаванием и синтезом речи - mozilla deepspeach и он закрыт (логично, гугл перестал финансировать мозиллу)
можно взять его, взять публичные или свои базы и обучить, на хабре были статьи где этим занимались (т.е. не только распознавание языка но и в принципе распознавание речи)

p.s. у гугла есть android (физическое железо, эмулятор кажется не подойдет) проприетарные библиотеки и наборы данных для распознавания, позволяющие делать это оффлайн для кучи языков, но на сколько я знаю лицензию на их использования они не раздают, но я слышал что народ как то приспосабливали эти библиотеки самостоятельно... процесс не простой, с каждым обновлением формат их использования будет меняться. Так же я слышал о попытках использования готового гугловского приложения google translate на android, с настройками на оффлайн распознавание (симулируя поведение человека и считывая содержимое экрана с помощью приложений на основе технологий для людей с ограниченными возможностями), можно что то сделать... наверняка там будет тьма подводных камней, так как гугл будет с этим бороться

p.p.s. до 4-ой версии android доступ к распознаванию речи как я понимаю был официальный

ищите сервисы перевода с api
google translate - https://cloud.google.com/translate
yandex - https://yandex.ru/dev/translate/