Я нашёл некоторое решение
mpv --hwdec=drm --vo=gpu --fs --video-aspect-override=655:288 rtsp://192.168.4.125:554/live
Раз в несколько минут rpi подвисает, но главное что удалось сохранить плавность воспроизведения, возможно 3-я модель rpi просто слабовата чтобы гонять 768х576@50 на битрейте 28.8, буду рассматривать переход на 4-ю модель. Понижение битрейта не роляет в данном кейсе, но наверное стоит отрубить какие-то фоновые службы