Всегда ли модульные тесты должны быть независимыми друг от друга?

Question

[Дмитрий]

Большинство евангелистов несущих в массы модульное тестирование утверждают, что такие тесты должны быть независимыми друг от друга. Почему?

Мне кажется это утверждение не совсем верно и вот почему:
Предположим разрабатывая класс a_Car я использую как другой класс an_Engine. Налицо отношение целое - часть. Как вывод полная работоспособность класса a_Car зависит от корректной работы класса an_Engine. Другими словами, если процесс тестирования класса an_Engine показывает что имеет 45% падений из всего набора тестов для an_Engine то это означает, что использовать класс a_Car не следует, т.к. он работает не совсем корректно!

Но большинство евангелистов не смотря на эту очевидную ситуацию продолжают утверждать, что тесты должны быть не зависимыми, почему?

Неужели и в жизни они будут пытаться тронуться с места и завести автомобиль у которого двигатель на 45% не работает?

На мой взгляд куда правильнее говорить о том что : "Класс автомобиль некорректно работает по причине некорректной работы класса Двигателя для которого обнаружено 45% падений" это более честное заявление, которое обосновывает остановку процесса тестирования класса Автомобиль.

Что я еще не понимаю? Прошу пояснить опытных юнит-тестеров, которые применяют юнит-тестирование не один месяц, а лучше не один год.

Answer 1

[Вячеслав Смирнов]

Раз в тегах есть bdd, то вы уже знаете, что такое Given, а что такое When.

Так вот, два теста зависимы, если начало второго теста не возможно, без предварительного выполнения первого теста (корректного выполнения). Так по началу многие разрабатывают. Тест1 создаёт объект с наименованием objectName123, а Тест2 ищет объект objectName123 в Given и выполняет некие действия с ним в When, плюс десяток проверок успешности выполнения действий в Then.

И так делать не надо по очевидным причинам.

Независимый тест устроен так.
Тест1 создаёт объект objectNameTest1_123 работает с ним, делает десяток проверок в Then.
Тест2 в Given вызывает те же методы, что создают объект в тесте Тест1, создаёт объект objectNameTest2_123, но выполняет одну базовую проверку, или не выполняет никаких проверок на корректность создания вообще (вызывается только часть Given и When из Тест1).

Тест2 предполагает, что Тест1 работает. И если Тест1 упадёт, то не выполняется предусловие начала тестирования для Тест1 (вызываются, ведь, одни и те же методы в одном случае, как основная логика теста, во втором как предусловия). И в отчёте будет видно, какие тесты были были провалены, а какие даже не начались (из-за того, что другие тесты были провалены).

Независимость в том, что Тест2 сам создаёт для себя нужный контекст. Не надеясь, что этот контекст подготовлен во время выполнения предыдущих тестов (Тест1).

Comments

[Дмитрий]

Извините, но не могу понять Вашу мысль. Не могли бы выразить другими словами?

[Вячеслав Смирнов]

Хорошо, рассмотрим на примере кода.

На примере из документации для BDDFy. В примере используется C#, надеюсь знакомый вам язык.

Документация: docs.teststack.net/BDDfy/index.html

Пример из документации:
using Microsoft.VisualStudio.TestTools.UnitTesting;
using TestStack.BDDfy;

namespace BDDfy.Samples.Atm
{
[TestClass]
public class CardHasBeenDisabled
{
private Card _card;
Atm _subject;

void GivenTheCardIsDisabled()
{
_card = new Card(false, 100);
_subject = new Atm(100);
}

void WhenTheAccountHolderRequestsMoney()
{
_subject.RequestMoney(_card, 20);
}

void ThenTheAtmShouldRetainTheCard()
{
Assert.IsTrue(_subject.CardIsRetained);
}

void AndTheAtmShouldSayTheCardHasBeenRetained()
{
Assert.AreEqual(DisplayMessage.CardIsRetained, _subject.Message);
}

[TestMethod]
public void Execute()
{
this.BDDfy();
}
}
}

Обратите внимание на метод GivenTheCardIsDisabled().
В этом методе создаётся экземпляр класса Card, в первый параметр передаётся значение false (вероятно, оно отвечает за то, что Card будет Disabled). После чего, считается что экземпляр класса Card будет успешно создан, что Card будет именно Disabled, ... (всё предполагается, проверок на Card.Disabled нет никаких).

Этот тест, как можно заметить, работает с Atm.CardIsRetained и Atm.Message. Зависит от корректности работы Card и Card.Disabled. Но не зависит от конкретного экземпляра класса Card, который при неправильном подходе к разработке тестов создавался бы в другом тесте.

Тут, как вы видите, экземпляр класса Card создаётся в этом же тесте в предусловии (GIven). И текущий тест самодостаточен.

Допустим, есть другой тест, который создаёт экземпляр класса Card, проверяет успешность создания и проверяет значение свойства Disabled. Но это другой тест. От успешности его работы, текущий тест независим.