Спасибо
Довольный Айтишникъ за подсказку с очисткой regcleaner.
(1) Удалил PKI Client. Удалил папку "C:\Program Files (x86)\InfoTeCS\ViPNet CSP".
(2) Удалил все службы, которые относились к Vipnet CSP и зачистил все упоминания о нем при помощи утилиты regcleaner.
(3) снова установил PKI Client.
(4) Потом удалил и зачистил Crypto Pro при помощи их фирменной утилиты cspclean.exe. Установил CryptoPro заново.
Пункт (4), я думаю, не обязателен.