Александр Синицын, можно, существуют приватные хранилища, например возвращаемые getExternalFilesDirs(), они удаляются вместе с приложением, бэкапы можно запретить в манифесте android:allowBackup="false", очищать кэш и данные можно самостоятельно, слушая android.intent.action.QUERY_PACKAGE_RESTART.