Для начала попробуйте использовать не встроенный RTMP модуль в FFmpeg, а собрать с использованием librtmp (--enable-librtmp). Они функционально и по багам сильно отличаются. Если Ubuntu Server основан на 14.04 LTS, можно взять из моего PPA:
https://launchpad.net/~adrozdoff/+archive/ubuntu/f...
Если не поможет, то нужно будет доставить пакет ffmpeg-opti-dbg, после чего:
1. выполнить команду
ulimit -c unlimited
2. запустить ffmpeg
3. дождаться зависания
4. из соседней консоли выполнить команду
killall -ABRT ffmpeg
в каталоге сгенерируется coredump файл, который можно где-то выложить и посмотреть, что там происходило и почему висим.
Вообще есть такая беда у FFmpeg при работе с сетью. Как минимум чинил утечку дескрипторов в родной реализации rtmp. Тут может быть что-то похожее. Кроме того, стоит поискать на их баг-трекере похожие вопросы, возможно уже есть решение.