Как реализовать синтез речи?

Question

[dBegginer]

Хотелось летом заняться интересным проектом и остановился на синтезе речи. На выходе надеюсь получить что-то на уровне google-translate bot. Сначала без нейронных сетей, а потом уже с использованием глубокого обучения. Что можете посоветовать?

Comments

[sim3x]

https://github.com/mozilla/TTS

Answer 1

[xmoonlight]

Лучше сразу делать качественно с нейронными сетями.
Изучайте Python и НС.
Применяйте нужные библиотеки и пишите код.

Пакет от NVIDIA: OpenSeq2Seq

machine translation (GNMT, Transformer, ConvS2S, …)
speech recognition (DeepSpeech2, Wave2Letter, Jasper, …)
speech commands (RN-50, Jasper)
speech synthesis (Tacotron2, WaveNet…)
language model (LSTM, …)
sentiment analysis (SST, IMDB, …)
image classification (ResNet-50)

Озвучка (TTS) : Tacotron 2

Лекции:
Лекции 1
Лекции 2

PS:
Синтез и перевод - разные вещи.
Синтез - это текст в звук.
А перевод - это с одного разговорного языка на другой.

Comments

[dBegginer]

Не имелся ввиду переводчик, а качество синтезированного голоса.

[xmoonlight]

dBegginer, т.е. перевод сам не нужен? только озвучка готового текста?

[Люда MARMALADKA]

xmoonlight, зачем ему перевод, если ему синтезация нужна, вы слово синтез интерпретируете как "перевод" для себя?

[xmoonlight]

Люда MARMALADKA,

На выходе надеюсь получить что-то на уровне google-translate bot

[Люда MARMALADKA]

xmoonlight, ну и правильно, тот бот умеет говорить, хочется получить на выходе примерно такой же голос по качеству, что вас смущает, или то что у него нет другого имени, по типу "сири" или "кортана" ?

[xmoonlight]

Люда MARMALADKA, НС+"что-то на уровне google-translate bot"+"синтез речи" = перевод + озвучка
(я так понял....)

[Люда MARMALADKA]

xmoonlight, тег уже подправлен на "Синтез речи", остаётся ждать, когда модератор примет правку.

[xmoonlight]

Люда MARMALADKA, Ну, ждём, тогда.

[posters]

xmoonlight, и что этот Tacotron 2 умеет? Неужто на русском разговаривает? Где хоть его голос послушать можно?

[posters]

Люда MARMALADKA, я вроде про русский язык спрашивал.

[Люда MARMALADKA]

posters, удалено

Answer 2

[Люда MARMALADKA]

Почитайте исходный код файлов тут: https://github.com/Olga-Yakovleva/RHVoice

Comments

[xmoonlight]

Я вот что думаю:
А ему точно нужен готовый код? Он вроде сам хотел разобраться.... (как я понял)

[Люда MARMALADKA]

xmoonlight, лучший способ узнать как чтото писать, это смотреть как другие это пишут, более того, там он может найти связь с людьми которые это делают, и они могут помочь ему обучиться, если захотят, гитхаб это же не тостер, где тебя вечно посылают в гугл инфопомои глотать, ещё читать книги или мануалы написанные какимито ботаниками на понятном только им языке

[xmoonlight]

Люда MARMALADKA, Вот кто так учится без понимания теории на исходниках - тот так и кодит потом...
Не нужно советовать плохого!

[xmoonlight]

Люда MARMALADKA,

и самому врядли удастся добиться похожего результата в синтезе речи

По вашему совету - однозначно! ;)

[Люда MARMALADKA]

xmoonlight,

По вашему совету - однозначно! ;)

Да, и не двузначно.

[Люда MARMALADKA]

hint000, там ему быстро объяснят что к чему

Answer 3

[Griboks]

Сначала изучить теорию, затем посмотреть методы реализации, далее написать алгоритм.

Например, вы можете воспроизводить отдельные буквы, или фонемы, или слова, или словосочетания. Вы можете записать это все заранее или с генерировать робовойс как в телефоне. И ещё много чего.

Сейчас вы делаете как: "дайте мне ссылку на api гугла, я буду текст воспроизводить."