Как оказалось адаптивного воспроизведения в ffmpeg нет.
Задача на добавления подобного функционала висит уже как 10 лет открытой.
Нашел
статью как можно допилить это самому, но лично мне это решение не подошло. Решил использовать VLC с флагом --adaptive-logic=rate
