Вариант А. Раздели задачу на две.
1. Программа настройки. В ней будешь задавать настройки и сохранять результат в файл.
2. Программу тестирования. В ней будешь считывать файл настроек и делать собственно тестирование.
Вариант Б.
Получи командную строку запуска приложения.
string[] args = Environment.GetCommandLineArgs();
И анализируй массив args на наличие ключа запуска в режиме настройки или тестирования. По заданному значению переводи приложение в режим настройки или тестирования.