Походу у вас косяк с перекодированием с ffmpeg. Пересоберите ffmpeg с нужными
либами кодеков.
А вообще, если надо именно HLS, ставьте nginx + rtmp-модуль, он поддерживает HLS. На него подавайте поток (у меня работает так):
ffmpeg -re -i rtsp://192.168.0.1/ -vcodec copy -acodec copy -vbsf h264_mp4toannexb -f flv rtmp://localhost/hls/720p
