Если речь идёт о задержке от реального времени (а не от запроса стрима), то тут несколько моментов:
1. интервал между ключевыми кадрами - снижаем
2. длительность группы кадров (GOP) - уменьшаем
Снижение интервала между ключевыми кадрами даст ещё и более быстрый старт, а длительность в большей степени влияет на отставание от реального времени.
Если правильно помню, на сервере при запросе потока он начнёт отдаваться только после накачивания 60 кадров после первого ключевого - это то, что ещё влияет на задержку.