DASH работает поверх HTTP, а не RTMP,
rtmp
в конфиге nginx - настройки модуля nginx-rtmp-module. Для статического контента rtmp-модуль не нужен (сам DASH построен на том, что все фрагменты должны быть доступны как обычные файлы).
Соответственно от вашего конфига нужна только вторая часть.
mp4box -dash XXXX -rap -profile "dashavc264:onDemand"
- для статики,
"dashavc264:live"
- для стримов.
И ещё нужно натравить проигрыватель на всю эту радость.
Раз уж добрались до моего ответа по предыдущему вопросу про DASH, могли прочитать спеку - там есть краткое описание того, как всё устроено.