Термины конечно потрясающие...
Ну во первых можно повесить коллайдер, но сделать его триггером. Тогда "с ним нельзя столкнуться" - тобишь через него можно пройти и все такое, но рейкасты в него пройдут.
Если НИКАКОЙ коллайдер нельзя использовать - то только геометрией. Берете все объекты, считаете расстояния от их центров до центра каста, сравниваете с эталоном и т.д. Дорого, гемморно, будет требовать оптимизации.