В меню Настройки - Дополнительно есть пункт папки с конфигами
В моем случае это C:\Users\alexv\OpenVPN\config
в этой папке лежат ovpn файлы конфига подключения, либо доп папки с сертификатами, ключами и конфигами. В этой папке удали папку с ненужным конфигом и файлами либо ненужный ovpn файл.