ИИ генерирующая звуки по описанию?

Question

[PavelTango]

Нужно написать ИИ способный генерировать звуки по описанию(Например шаги). Я в этом не разбираюсь от слова совсем, поэтому хочу попросить подсказку - как лучше выполнить данную задачу? Какой язык использовать, как обучать и как собственно генерировать конечный файл?

Comments

[Everything_is_not_so_bad]

Кто поставил такую задачу?

[freeExec]

Нужно провести операцию по трансплантации печени. Я в этом не разбираюсь от слова совсем, поэтому хочу попросить подсказку - как лучше выполнить данную операцию? Какой скальпель использовать, как резать и как собственно пришить?

[GavriKos]

freeExec, по моему даже хуже. Трансплантацию печени вроде делают. А вот про нейронки. генерирующие с нуля звук по описанию я не слышал.

[freeExec]

GavriKos, так и генерирующих картинки тоже, ещё в прошлом десятилетии не было. В прочем техника обучения то уже есть, дело за датасетами. Другое дело, что воплощение такого на должном уровне под силу единицам компаний в мире, а не любому, кому взбрело это в голову.

[Everything_is_not_so_bad]

Области для изучения:
ЦОС (DSP), начиная с основ, с углублением в обработку звука.
ОЕЯ (NLP)
ИИ (AI), начиная с основ, постепенно добираясь до тем генерации контента.

[mayton2019]

В данном задании самое сложное - это поиск обучающих датасетов по звукам.

Я предлагаю автору начать с этого. Когда в базе будет хотя-бы по 100 семплов звучания шагов, потом трелей соловья, и прочее, можно начать обсуждать архитектуры сети а самое главное - аксептенс-критерии.

Потому что последние - это самая слабая часть в постановке.

[freeExec]

mayton2019, собрать звучания 100 разных шагов вообще не проблема. Как описать текстом их различие - вот это проблема. И собственно говоря, что в вопросе не раскрыто, так это что в нём уникального, что просто сборник звуков не подходит.

[mayton2019]

freeExec, сборник звуков может не подходить по объему занимаемой памяти например.
В данном случае нейросеть работает как архиватор. Оптимизируя хранение. Можно
сказать что архивация является побочнным эффектом этой задачи. Хотя и явно
не описаной автором.

Answer 1

[GavriKos]

поэтому хочу попросить подсказку

ну начните с теории нейросетей, персептрон там, распознавание цифр, вот это все. И с математики.
Где то через год возвращайтесь )

Answer 2

[Aragorn]

как лучше выполнить данную задачу?

Никак. Для вас она непосильна

Answer 3

[Сергей]

Я бы забанил всех комментаторов выше.
Я понял вашу задау как преобразование текста который описывает звук, в сам звук типа wav-файла.

Вам нужно предобученную модель найти. И запустить её у себя. Если такой нету, то то обучить - это долго и дорого.
Это посилу только всяким гуглям и микрософтам, которые делают eDali и gptChat.
Если они опубликуют результаты, то можете их взять.

Comments

[PavelTango]

Да, ребята напомнили мне СНГ IT форумы)

Из похожего на нужное мне решение удалось найти - Riffusion, однако по крайней мере веб.демка по запросу выдает мелодию, а не семпл. Зато удалось узнать как они делают сеты для обучения - используют сонограмму. Попробую изучить их исходники, может что-то да получится. Спасибо!

[Сергей]

метод тупиковый, нужно оебспечить достаточное временное и спектральное разрешение для такой картинки спектра и то, все равно не получишь нормального звука.
с таким же успехом можно просто "картинку" wav-файла получать и по нему воспроизводить.

Answer 4

[My1Name]

ИИ способный генерировать звуки по описанию(Например шаги)

— Приблизительно так же, как это делают студенты при изучении Turbo Pascal. А если нужно по шагам, то писать программу лучше всего на языке java, используя встроенный в телефон акселерометр.

как обучать и как собственно генерировать конечный файл?

— Обучать по описанию "что такое шаг?" и как на него реагировать. Конечный файл, если имеется ввиду звука - обычный .mp3 или .wav