При использовании AES — никакого заметного торможения, благодаря аппаратному ускорению AES. В том числе и с включенным шифрованием ключей в памяти, всё работает как обычно. Возможно, если выбрать какой-то другой алгоритм вместо AES, и тем более если применять каскадные шифры для шифрования системы, то будет тормозить.