Есть ли системы озвучки текста учитывающие интонации и эмоции конкретного человека?

Question

[Евгений Лернер]

Здравствуйте! Чтобы система работала примерно так: обучается, используя речь человека, различных эмоциях и тональностей. При озвучке текста голос максимально похож на голос этого человека.
Вроде бы уже есть системы которые имитируют внешность и походку человека, почему бы не имитировать голос

Comments

[Refguser]

Приходи лет через 5.. возможно даже 10.

[mayton2019]

Непонятно как по тексту определить "накал" эмоций?

Или как понять сарказм или ерничание?

Вот в музыке например под нотами могут писать: Акцент. Крещендо. Или форте-фортиссимо
для обозначения где мы усиливаем децибеллы звука.

В обычном тексте этой информации нет.

P.S. Чацкий : Карету мне! Карету!

Answer 1

[rPman]

upd. https://github.com/myshell-ai/OpenVoice
https://github.com/jasonppy/VoiceCraft
но ты не очень контролируешь эмоции, полагаю тут это тюнингом нужно делать
---------------

Эмоциональной речью хвастались openai, но чужие голоса тюнить не дают, мало того они отключили один из своих, только за подозрения в похожести голоса на чей то популярный.

Сам не пользовался, но по отзывам говорят звучит шикарно,.. русский само собой с акцентом.

Серая юридическая зона! очень страшно влить миллионы в тюнинг модели и получить судебный запрет из-за копирастии всех своих продуктов... это не то что хочется получить, если у тебя на кону сотни миллиардов.

p.s. еще этим занимались alibaba qwen, у них точно были gpt модели, где голос был на входе и на выходе, но там английский и китайский, я тоже не смотрел

Ну и facebook чем то таким занимается, полистай их публичный архив, там есть audio-audio трансформер, но там явно без каких то значимых результатов, что бы сравнивать с топами, но все открыто
тупо первое попавшееся, кажется это переводчик голос-голос

Answer 2

[Aragorn]

Нет, но можете написать, тогда появится)