Начнем с того, что сама постановка вопроса в корне не правильная. Это могло бы звучать так: "я сделал код, провел замеры и все уперлось в операцию cast, что мне делать?".
Это же прописанные истины, преждевременная оптимизация - корень зла!
Но если на сам вопрос, то операция приведения типа должна быть быстрая, но как уже написали, тут явно не тот случай, когда ее нужно применять.