Попробуйте Environment.Exit(); или System.Environment.FailFast, если нужно убить процесс программы.
Но, если программа остается в памяти после Application.Exit();, значит вы что-то делаете не так.
Но, если программа остается в памяти после Application.Exit();, значит вы что-то делаете не так.
Просто потоки вертятся. Вызов этого метода не приводит к принудительному завершению проги. А так да, Environment.Exit() - самый пряморукий путь для убивания процесса.