Как создать автоэнкодер аудио с голосами / систему deepfake на аудио данных?

Question

[MaxBat]

Хочу создать модели автоэнкодеров такого типа.

Аудио человека 1 -------> encoder -------> latent space 1 -------> decoder 1 -------> Аудио человека 1
Aудио человека 2 -------> encoder -------> latentspace 2 -------> decoder 2 -------> Aудио человека 2

Мне потребуется впоследствии поменять декодеры местами, поэтому они должны быть как бы "мобильными", если так можно сказать.

Пока перерыл кучу информации и не понимаю даже за что браться. Подскажите, с чего начать, как и с помощью чего это можно реализовать и т.д.

Answer 1

[dmshar]

В общем-то непонятна суть вопроса.
Тем более, что вы перерыли кучу информации и ничего не нашли(???)
Вы ищете информацию по автоенкодерам? По обработке звука? Или вообще - "с чего начать"?
Ну давайте начнем с автоенкодера. Хорошей литературы я не припомню, но вот статей на тему хватает:
https://towardsdatascience.com/autoencoders-overvi...
https://towardsdatascience.com/introduction-to-aut...
С использованием ТensorFlow:
https://www.machinelearningmastery.ru/implementing...
https://russianblogs.com/article/28481357544/
С использованием PyTourch
https://towardsdatascience.com/beginner-guide-to-v...
С примерами практической реализации:
https://towardsdatascience.com/autoencoders-introd...
Даже отдельные обсуждения на тему Как отдельно использовать кодер автоэнкодера в keras и Tensorflow есть:
https://coderoad.ru/39551478/Как-отдельно-использо...
https://coderoad.ru/51566573/Tensorflow-Keras-испо...
Так что неясно, чего именно вы не нашли.
В приведенных ссылках есть что изучать, особенно если вы даже "не понимаете за что браться". Вот, изучите. А потом попробуйте более конкретно сформулировать свой вопрос.