Какова длина ключа в сертификате и какой ключ хочет VK? может быть они отличаются. Может быть им запрос, по которому сертификат генерился - не понравился. У меня был такой случай - выпускаю сертификат на synology (запрос делался на synoloy) - не принимает и все! (Три рубля подарил руцентру, блин...)