Вообще смотря, что считать состоянием. Если активити убрать в фон, вызовется onSaveInstanceState, если приложение убьёт система, то при восстановлении из списка недавно открытых, вызовется onRestoreInstanceState. Соответственно, если сохранить всё нужное, то оно и восстановится. Примерно это происходит при don't keep activities.
Всякие синглтоны, статика, сохранённое в аппликейшн, вообще говоря, потеряется.