Я бы записал дебаг на стыке с провайдером в момент проблемы. В трейсе с помощью wireshark можно воспроизвести нужный RTP поток. Станет ясно где проблема.
Можно использовать обычный 4 портовый FXS-шлюз. Настроить короткие номера (101,102,103,104) и включить использование локальной телефонной книги (маршрутизации). ТА можно использовать обычные медные.
