Если это учебная задача для сдачи лабы в универе.
То гуглите "Чат по UDP протоколу C#" (поставить любой другой ЯП/среду).
Вместо текста вы по UDP будете гонять сообщения с аудио отрывками и загонять его в енкодер аудиобиблиотеки на конечном приложении.
Отправка определенному клиенту тоже можно организовать. У каждого сообщения будет свой адресат в виде IP адреса, по нему можно разграничивать передачу на разные клиенты.
PS: Если быть кратким, то есть учебный проект по передачи звука:
https://metanit.com/sharp/articles/7.php