ставил vlc + кодеки от VideoLAN. в Вашем случае, и правда, могут быть неверные настройки, попробуйте помениять библиотеку вывода (Jack, Gstreamer, etc)
даже целые, все равно упаковываются в JSONLiteral, т.е. всегда текст.
Вообще (либо крестик снимите, либо трусы оденьте) вы передавайте либо JSON строку, либо уж напрямую свои объекты, т.к. в "сыром виде" через ObjectOutputStream пойдет все равно значение, сериализованное средствами джавы, если это поведение не переопределено.
