Как должны выглядить автотесты белым ящиком?

Question

[Loligan]

Как должны выглядить автотесты белым ящиком? Я столкнулся с вопросом самому себе правильно ли я пишу автотесты.

К примеру тестирую логирование:
- Отрыть Url "example.com"
- Ввести в поле login "user"
- Ввести в поле password "password"
- Нажать кнопку [Login]

И в тоже время скажем открытие страницы своего профиля:
- Отрыть Url "example.com"
- Ввести в поле login "user"
- Ввести в поле password "password"
- Нажать кнопку [Login]
- Нажать на изображения профиля
- Нажать кнопку [Profile]
- Нажать кнопку [Setting]
- Проверить элементы на странице Profile->Setting

Т.е. чем глубже я забираюсь в модули тем больше шагов и пр. Это правильно? Потому что мне кажется такой ком выглядит не ахти, хотя с другой стороны видно на каком шаге зафейлился тест. Может кто даст пару советов или источников для поднятия скилов?

Answer 1

[Егор Оммоник]

Это нормально, что код выглядит повторяющимся набором определенных шагов. В дальнейшем при написании тестов вы будете прибегать к рефакторингу и оптимизации, и, например, во втором случае просто вызывать метод login( ) c нужными данными, вместо того чтобы копипастить блок логина на каждый тест.
Еще.
Тесты должны выглядеть примерно так:
Исходные данные: сайт, логин, пароль
Сценарий: что сделать, куда перейти, что ввести
Результат: что ожидаем увидеть, услышать, прочитать
У вас нету конкретного предположения, что мы ожидаем.
Например: залогинились, видим надпись, "выход из личного кабинета". Надпись есть - тест на логин пройден. Надписи нет - не пройдет. Причины могут быть разные

Прочитать обязательно: Романа Савин - Тестирование .com
Для поднятия скиллов:Testbase

Comments

[Loligan]

Да. Забыл что использую BDD фреймворки для построения сценариев. Т.е. вы предлагайте множество шагов упаковывать при написании сценариев в один шаг. Верно?

[Егор Оммоник]

Loligan: В случае, когда тест-сценарии будут читать люди опытные, строка типа Логинимся (adress, user, pass) вместо четырех строк по отдельности явно не будет вызывать проблем. Опять же в книге озвучен этот вопрос. Не нужно излишне расписывать действия, коротко и по существу указать - достаточно.

[Loligan]

Егор Оммоник: Тут ещё проблема в том что если шаг зафейлился, я хочу что бы дев видел на каком шаге это было вызванно. Пришлось писать фреймворк зависимостей тестов, и писать каждый шаг подробно что бы в багтрекинговой системе было четко показано где отвалился тест. На сколько это правильный подход?

[Егор Оммоник]

Loligan: писать код автотестов (phpunit, js jasmine, python, java и т.д.) вы будете? или есть кодер отдельный под это? Если есть - то он в своих тестах будет вводить ассерты, включать дебаг режим, в случае ошибок прохождения тестов в консоли он явно прочтет, какой тест завалился и почему. Ваша задача сформулировать тесты абстрактно, а функционально - это задача человека, который пишет непосредственно код.
Опять же, "шаг зафейлился". Если зафейлился логин, то смотреть будем тест логина. А не тест настроек профиля. Тест с настройками профиля выполняется только с уверенностью в том, что логин работает.

[Loligan]

Егор Оммоник: Да. пишу автотесты я. Что за дебаг режим? Можете дать линк для прочтения? А то я не совсем понимаю о чем речь.
Т.е. вы говорите о зависимостях. В phpunit / junit разве есть зависимости тестов? на сколько я знаю пишут обычно кастомные раннеры для этого

[Егор Оммоник]

Loligan: debug в каждом языке свой. Иногда хватает var_dump (php) или console.log (js). Иногда приходится включать debugmode в phpunit, для детального отображения в ходе запроса, что то вроде этого.
$debugmode = false;
~~~
request('GET', $url . '&access_token=' . $this->accessToken, ['debug' => $this->debugMode]);

Какую литературу уже читали? Проект с какими языками и фреймворками разрабатывается? А автотесты на чем пишутся?

[Loligan]

Егор Оммоник: Я как понял вы говорите об автоматизации черным ящиком, но я использую автоматизацию только для белого ящика используя Selenium.

Пишу на php, facebook webdrive, behat и по мелочи вроде api багтрекинговой системы и скрипты на bash. Но начинал с java писал на webdriver и testng, тогда ещё не пользовался BDD. В будущем планирую снова перейти полностью на автоматизацию на Java

[Егор Оммоник]

Loligan: Понял вас. Вы через Selenium IDE эти тесты собираете?
В таком случае большое количество шагов - это нормально. Правда дублирование действий мне не по душе, но не знаю, что лучше: объединить два теста в один с двумя проверками и нарушить правило "1 тест одна проверка" или оставить, чтобы было правильно, но с дополнительной тратой времени. Я бы выбрал первый вариант.

[Loligan]

Егор Оммоник: Нет. Никакого IDE. Всё тесты пишу вручную

Спасибо за потраченное на меня время. Рад что помогли

[Егор Оммоник]

Loligan: Lee Copeland - Software testing, 140 страница, white box testing techniques.