Ну вообще должно получиться 5 отдельных качеств, в каждом - 8 аудиодорожек и 1 видеодорожка, каждая своего размера и битрейта. Т.е. берете вашу команду и меняете в ней битрейт и размер кадра.
При этом ваша команда делает mp4-файл, из него можно сделать HLS с помощью nginx-vod-module, либо переделать команду ffmpeg так (-f hls), чтобы сразу получить набор TS-сегментов плюс индексный M3U8-файл.