Необязательно "открывать и закрывать файл". Можно файл открыть перед началом теста, записывать в файл ошибки по мере прохождения теста, закрыть файл после окончания.
Можно ещё сохранять ошибки в каком-то временном списке, а после окончания теста весь список разом скидывать в файл.
