В конфиге openvpn-сервера прописываем
client-config-dir ccd
В папку ccd помещаем текстовый файл, имя которого должно совпадать с названием сертификата клиента, а в содержании файла должно быть
disable
Не знаю отключит ли openvpn-сервер клиента сразу же или нет, но повторно точно подключиться не даст.
После удаления файла из ccd клиент опять сможет подключиться.