Всё очень просто:
Метод с атрибутом "[DrawGizmo(GizmoType.NotInSelectionHierarchy)]" вызывается для каждого невыделенного объекта на сцене. Чем больше объектов - тем чаще он вызывается, что и является причиной тормозов.
P.S. Пока не нашёл элегантного способа получить единичный вызов метода. Но как вариант - можно создавать объект с флагом HideFlags.HideAndDontSave и отрисовывать через него.
