Сделайте стартовую активити, которая будет всегда запускаться первой и проверять в настройках, какая активити должна быть запущена, и запускать ее. Чтобы пользователю она была не видна, и чтобы вся работа этой активити была незаметной, можно применить ей такую тему:
<style name="NoDisplay" parent="AppTheme">
<item name="android:windowBackground">@null</item>
<item name="android:windowContentOverlay">@null</item>
<item name="android:windowIsTranslucent">true</item>
<item name="android:windowAnimationStyle">@null</item>
<item name="android:windowDisablePreview">true</item>
<item name="android:windowNoDisplay">true</item>
</style>