Это уязвимость ли это?
Да, любая возможность зайти на систему является потенциальной уязвимостью. В идеале надо закрыть все порты, исключить возможность связи с глобальной сети, и допускать только после трехкратной идентификации личности, под прикрытием вооруженной охраны.
Вопрос лишь в том насколько опасна именно для вашего случая эта потенциальная уязвимость?
Взломать могут подбором пароля, кражей ключа, и кучей других способов.
Вероятность довольно небольшая, но существует.
Для минимизации угроз, можно разрешить доступ только с определенных адресов, использовать разные хитрушки вроде порт-кнокинга, для защиты от подбора использовать fail2ban, а можно вообще ничего не делать.
Иногда это не имеет смысла, т. к результат не окупает затраченных средств.