MyChat. Он работает даже при 15-секундных пингах на спутниковом интернете, там, где Skype или Telegram даже не соединяются. Есть бесплатная версия на 20 пользователей. Чтобы настроить работу мессенджера со своим сервером — погуглите "MyChat через интернет", есть хорошая статья про это.
Голосовые звонки будут работать хорошо, видео будет плохого качества, система будет автоматически понижать его, чтобы хоть что-то, но работало. Всё-таки, 1 мегабит — это очень мало для видеозвонков.
Картинки и видео обычно и так сжаты достаточно хорошо, тут магии не произойдёт, пережать их лучше без потери качества не выйдет.
Текст при отправке в MyChat сжимается, если в этом есть смысл (программа сама определяет, будет профит от сжатия или нет, для каждого собщения).