Если интересно, то в audacity (это музыкальный редактор с открытым кодом) в свое время делали библиотеку portmixer, она заточена под работу совместно с библиотекой portaudio. Portmixer входит в состав исходников audacity.
Вот этот portmixer предназначен для изменения громкости, причем это кросс-платформенный вариант.
Изменение громкости - это достаточно не тривиальный процесс и одним вызовом WinAPI это не делается.
Если хочется можете взять исходники portmixer и доработать их под себя.
Простой
