RS-qrsk

В общем, кому интересно, проблема в итоге оказалась в хостинге, протестировали на другом и все заработало. К сожалению, владелец старого хостинга не захотел вносить изменения.
Если вы столкнетесь с аналогичной проблемой и вы уверены, что ваш код правильный, проверяйте с помощью OpenSSL, он вам точно покажет в чем проблема. В моем случае, проблема с сертификатами.

В общем, проблему я решил, если кто столкнется с подобным, делал следующее:

Как оказалось, ssl действительно влияет на передачу rtmp трафика во внешку.
1. Создал поддомен om.example.com
2. На сервере отключил apache, дабы полностью освободить 80 порт на время
3. Выпустил сертификат SSL самоподписанный на поддомен
4. в DIR/conf/server.xml изменил 5080 и 5443 на 80 и 443 соответственно
5. Установил turnserver (обязательно!) + бонусом будет также настроить stunserver (в сети много публичных)
6. Перезагрузил tomcat3, kms, mysql, turnserver (что бы постоянно это не прописывать при перезагрузке сервера, сделайте скрипт автозапуска)
Не забываем про ufw или iptables.

Итог: отличный сервер видеоконференций с одновременно работающими клиентами как из внешней сети так и из локальной. Примерная нагрузка на сеть 1-1,5 мбит\с на 1 клиента.