Стандарта, который бы поддерживали плееры в windows для этого нет (я думаю его пытаются изобрести уже кучу лет и каждый раз что то новое, поддерживать которое никому не хочется)
Мне кажется с помощью core audio api можно добраться до приложения, которое сейчас играет (получить их список с помощью
IAudioSessionEnumerator) и попробовать послать его
IAudioClient::Stop (я с наскока не нашел как связать эти объекты). Если я верно понял именно это показывает windows поверх экрана когда пользуешься мультимедиа клавишами.
Если получится, и если надо из java то либо ищи готовые аналоги либо пили на Си и подключай с помощью jni