Условная ситуация: нужно позвонить человеку, который говорит, например, только по-французски, а я, соответственно, не шибко говорю на французском. Если бы дело было не по телефону, а tête-à-tête, то гугл-транслейт почти справляется. А вот нормально распознать речь собеседника через телефонный канал - не может. Есть какие-то уже прорывы в этой области? Ожидается, что апп будет распознавать речь собеседника через спикерфон, и писать перевод на русском (или можно на английском), а потом будет распознавать мой голосовой ответ, переводить его и проговаривать на французском.
Купив гугловский смартфон Pixel 6A, я к своему огромному удивлению увидел там эту функцию прямо встроенную в тамошний Андроид. Но с огромным НО: там в списке поддерживаемых языков нет русского, да и теми языками, что в этом списке есть, в России пользоваться не получится (сами понимаете почему).
Так что не удалось даже попробовать для оценки качества перевода и распознавания.
Лучший аудио переводчик а реальном времени, как я понимаю, это openai gpt в реальном времени. Как минимум их chatgpt при наличии подписки в 20$ на презентации этот функционал показывали. Бесплатно можно посмотреть у Майкрософт их copilot.microsoft.com (только что проверил, промпт - 'переводи каждую мою фразу на русском на английский, а с английского на русский', заработало даже без авторизации в google chrome на android, но не в россии) или он же встроенный в edge, просто вслух попросив переводить указанные языки в нужном направлении.
Точно помню были железные стартапы.
Буквально месяц/другой как открыли realtime api, на гит есть примеры аудио чата
Но есть проблема работы на смартфонах с телефонным аудио каналом, официально к нему нет доступа (можно эмулировать bluetooth гарнитуру в лучшем случае, это значит тебе нужен отдельный смартфон для перевода), поэтому не уверен что готовый софт именно для телефонного разговора кто то уже опубликовал.
в samsung galaxy s23 ultro и выше есть такой функционал. Там прям флажок можно отметить, когда будешь говорить по телефону. Всё делает биксби и переводит туда и назад голосом.
Лично проверял.
1. Я говорил по русский, а жена по немецки.
2. Переводило женским голосом на русский и на немецкий.
3. Переводит с задержкой примерно в две три секунды.
4. Иногда распознаёт неверно контекст и могут случиться смешные ситуации.
5. Вы так же будете слышать перевод на двух языках как и ваш собеседник.
