Вести лог всех объектов на сцене (спавн, уничтожение, изменение координат и других свойств объекта и время этих манипуляций) и когда это нужно, воспроизводить всё в обратном порядке по времени
А как без этого? Вам нужно прошлое, значит нужна информация об этом прошлом. Значит её надо записывать и хранить. Вопрос лишь в деталях: как часто делать записи, как долго хранить, что именно туда включать и что можно упустить, хранить логи отдельных сущностей или переодически делать "снимки" всего окружения игрока и т.д. Это уже вам решать. Плюс надо подумать, нужна ли обратная анимация всех процессов, или достаточно будет просмотра стоп-кадров.