rPman

upd. https://github.com/myshell-ai/OpenVoice
https://github.com/jasonppy/VoiceCraft
но ты не очень контролируешь эмоции, полагаю тут это тюнингом нужно делать
---------------

Эмоциональной речью хвастались openai, но чужие голоса тюнить не дают, мало того они отключили один из своих, только за подозрения в похожести голоса на чей то популярный.

Сам не пользовался, но по отзывам говорят звучит шикарно,.. русский само собой с акцентом.

Серая юридическая зона! очень страшно влить миллионы в тюнинг модели и получить судебный запрет из-за копирастии всех своих продуктов... это не то что хочется получить, если у тебя на кону сотни миллиардов.

p.s. еще этим занимались alibaba qwen, у них точно были gpt модели, где голос был на входе и на выходе, но там английский и китайский, я тоже не смотрел

Ну и facebook чем то таким занимается, полистай их публичный архив, там есть audio-audio трансформер, но там явно без каких то значимых результатов, что бы сравнивать с топами, но все открыто
тупо первое попавшееся, кажется это переводчик голос-голос

Тебе нужны TTS SAPI движки, ищи, есть неплохие, для русского например RHVoice, от полностью открытый, у него есть как sapi так и подключаемая c библиотека, есть для android и я помню адаптировал из него него jni вариант для вызова из java на pc.

p.s. к сожалению, с появления gpt и алгоритмов генеративного ИИ, синтез и распознавание речи значительно поднялось, но никто не релизил (я не нашел) именно sapi движок для них, что очень странно.

Лучший открытый русскоязычный голосовой движок мне известный - rhvoice, есть во всех формах, от Windows SAPI до компилируемой библиотеки или android версии.

Оформляешь его в виде бакэенда и шлешь строчки текста, необходимые к синтезу через него.
Лучше варианта не найти. В теории, можно запустить библиотеку на клиентской стороне, собрав библиотеку на WebASM, но не уверен что это даст какую то пользу.

Этот xml - это Semantic Markup Language (SML) стандарт, в sapi как я понял поддерживается его упрощенное подмножество, когда я тим пользовался, у меня много что не работало, то ли голосовой движок был не полноценным (а это для русскоязычной реализации обычное дело, кстати советую rhvoice) толи действительно sapi корявое.
Начните от сюда https://docs.microsoft.com/en-us/previous-versions...

попробуйте теги

<emphasis level=“strong/moderate/none/reduced”> и <emphasizesyllable affect=“pitch/duration/both”>