>> Если на Кинетике подниму встроенного Клиента, а на vps Сервер OpenVpn, смогу ли я осуществить задуманное?
Да. Кстати keenect поддерживает wireGuard.
>> Как будет происходить обращение к модему? Нужно так и указывать в post запросе ip модема или как?
На сервер (VPS) у Вас появится еще один виртуальный сетевой интерфейс интерфейс, надо будет прописать маршрут к модему через этот интерфейс, адрес у модема будет тот же что и сейчас.
>> Есть ли подводные камни в плане безопасности?
Следите за безопасностью своего сервера, если его взломают, то получат доступ к вашей домашней сети.
На практике, взломом обычно занимаются боты, а цель которую они преследуют - поиск солдат в армию DDOS)