Для передачи видео через интернет 2-3 - приемлемое значение, со всеми оптимизациями синхронизацию менее 1 секунды вы не получите.
Прежде чем отбрасывать rtsp, научитесь его готовить.
1. Проверьте настройки буферизации на принимающей стороне. В VLC, например, буфер по умолчанию несколько секунд.
2. Интервал I-frame. Настройка кодека h264, отвечающая за межкадровое сжатие. При частоте кадров 25, несколько ускоряет установка длины gop-группы 5. Но это наращивает трафик или ухудшает качество видео при сохранении битрейта.
3. Ну и используйте передачу по udp.
