Вот этой командой удалось затранскодить поток с rtsp:
/usr/bin/vlc -I dummy -d rtsp://192.168.1.3/11 --no-sout-audio --sout #transcode{vcodec=MJPG,vb=1000,fps=15}:standard{access=http{mime=multart/x-mix-replace;boundary=myboundary},mux=mpjpeg,dst=:8090/cam.mjpg}