Как корректно возвращать назад?

Добрый день!
Допустим, что есть 2 activity - MainActivity & FavoriteActivity с recyclerview. При клике на элемент recyclerview открывается третий activity InfoActivity.
Как корректно возвращать пользователя при клике "Назад" в зависмости от того с какого Activity он перешел?
Проблема заключается в том, что в манифесте для InfoActivity можно указать только 1 активити в качестве родительского. И конечно же в манифесте не прописать логику возврата в зависимости от того с какого активити пользователь перешел...

<activity
            android:parentActivityName=".MainActivity">
<meta-data
                android:name="android.support.PARENT_ACTIVITY"
                android:value="info.md7.dermanlar.MainActivity" />
......

getSupportActionBar().setDisplayHomeAsUpEnabled(true);