А зачем вам rtmp-поток? В задании не уловила. Записать в файл -- nginx-rtmp умеет.
Для отправки по rtmp надо установить ffmpeg, а дальше использовать директиву exec для nginx-rtmp, в которой прописать команду для ffmpeg, отправляющую rtmp куда надо.

Или вам надо rtmp как раз отправить в nginx? Тогда почему из браузера? Это принципиальное условие? Если так, то придется написать приложение для браузера, которое будет запрашивать доступ к устройствам, выбирать из них нудное и всё вот это вот. Если нужно делать это не из браузера, то всё можно решить проще.