Если объектов на сцене немного, то практического смысла от occlusion culling тоже мало. Если это не так, то вы получите хороший прирост производительности. Что касается рейкаста, то occlusion culling можно применять, если объекты на заднем плане точно не будут являться raycast target. Если нет такой уверенности - использовать occlusion culling не стоит. В таком случае есть смысл избавиться от рейкастов в пользу менее нагруженных решений т.к. сами по себе рейкасты тоже несут немалую нагрузку.