Использовать MemoryProfiler: сделать снапшот до смены сцены и после. Там же в режиме сравнения будет видно разницу, какие объекты добавились (и убавились, но нас они не интересуют). Вот дальше и начинаете расследование, что за объекты, почему остались, а не удалились.
Какой-то волшебной галочки в настройках, исправляющая увеличение памяти не существует.
Всё особенно бывает печально, когда используют чужой код, который был написан просто в демонстрационных целях, без какой либо оглядки использования в боевом проекте.