Вероятно сам адаптер OpenVPN имеет тип сети - публичная. Соответственно, если вы запрещаете исходящие подключения для public, то работать ничего не будет.
Можно попробовать изменить зону по-умолчанию для новых подключений
https://niallbest.com/unidentified-networks-in-win...
PS. Еще в свойствах правил файрвола во вкладке дополнительно есть раздел "Типы интерфейсов". Если под новыми подключениями вы понимаете беспроводные сети, то создайте правило разрешающее доступ только по порту VPN сервера через WiFi.