В отсутствии RTCP. Без него практически все клиенты/сервера рвут связь через 30сек. По крайней мере во всех случаях, что я сталкивался так и было. Если не изменяет память, 30 сек максимальный интервал отсылки RTCP.
Попробуй поставить уровень логирования повыше или воспроизвести при помощи ffplay -v debug rtp://xxx