Теоретически активити могут существовать какое-то время, но их существование не гарантируется системой, соответственно, когда они будут утрачены (уничтожены для очистки памяти под другие нужды) предсказать невозможно и все это приведет к тому, что приложение упадет в самый непредсказуемый момент.