С помощью исключительно java не знаю. Но есть обертка для gstreamer -
https://github.com/gstreamer-java/gst1-java-core. Вот из него-то и можно получить любую дорожку практически из любых контейнеров. Правда, как там дела с поддержкой rtmp (он ведь проприетарный), давно не проверял.
Плагин есть, но в "ненадежных" -
https://gstreamer.freedesktop.org/documentation/rt...
С gstreamer-java сам работаю... так что пишите, если что...
Если что - примеры здесь -
https://github.com/gstreamer-java/gst1-java-examples