На подобные вопросы ответить можете только Вы как автор программы.
А помочь с поиском проблемных мест может стрикт моде у приложения
if (BuildConfig.DEBUG) {
StrictMode.enableDefaults();
StrictMode.allowThreadDiskReads(); // 1
StrictMode.allowThreadDiskWrites(); // 2
}
1 и 2 очень много сообщений без них. Тут начнет ругаться на сохранение и востановление стейта у активитей, чтение шаред преференс.
Посмотрите в логах на что будет ругаться. Может вы чего на UI треде делаете при деструктизации