Вам нужно внимательнее вчитаться в
официальную доку.
Там четко сказано:
cd to NGINX source directory & run this ...
То есть нужно выкачать исходники желаемой версии nginx, потом, как Вы и сделали, выкачать исходники желаемой версии nginx-rtmp-module. После чего скомпилить nginx вместе с nginx-rtmp-module. И уже тогда запускать nginx.
К скомпиленному и запущенному nginx Вы никак не прикрутите nginx-rtmp-module.