Чем отличается функциональное тестирование от приемочного?

Question

[DarkByte2015]

Насколько я понял из доков вся разница в том что функциональные тесты тестируют интерфейс без открытия браузера (где-то внутри его эмулируют), а приемочные открывают реальный браузер и в нем все протыкивают. Но в чем их преимущество? Почему тогда не обойтись одними функциональными?

Comments

[Максим Федоров]

Функциональные без браузер. Просто тестя кусок функционала.
Например делаете регистрацию, и проверяете, что в БД появилась запись и что отработал метод уведомления... Это внутри, без всяких браузеров

[DarkByte2015]

Максим Федоров, об этом я и говорю. Просто я не понял зачем тогда нужны приемочные тесты если тестируют они по сути одно и тоже только разными способами.

[Максим Федоров]

DarkByte2015, еще раз:

1. приемочные: тестируют в браузере, ака пользователь, кликнул туда, кликнул сюда, увидел то, увидел се. То есть вообще конечный вариант в контексте веб-приложения

2. функциональные: вызвал метод такой-то, по результату в БД есть запись такая-то, тут файл такой-то, тут вызывался тот-то внешний севрис. Некий функционал в купе

3. юнит: тестируют метод, что вернул верно, что входящие данные пришли и что поймал исключение, ну и наоборот -- верно ошибки отработал, но метод

Один в браузере из вне тестирует, другой внутри кусок функционала

[DarkByte2015]

Максим Федоров, https://codeception.com/docs/04-FunctionalTests

$I->amOnPage('/');
$I->click('Login');
$I->fillField('Username', 'Miles');
$I->fillField('Password', 'Davis');
$I->click('Enter');
$I->see('Hello, Miles', 'h1');

Это чертовски похоже на приемочные тесты. Тоже мы говорим: я на странице, кликаю кнопку, заполняю поля, вижу текст...

[Максим Федоров]

DarkByte2015, я немного не верно объяснил, поскольку функциональные не доводилось писать

Functional Tests
Now that we’ve written some acceptance tests, functional tests are almost the same, 
with one major difference: Functional tests don’t require a web server.

In simple terms we set the $_REQUEST, $_GET and $_POST variables and then we execute 
the application from a test. This may be valuable, as functional tests are faster 
and provide detailed stack traces on failures.

[DarkByte2015]

Максим Федоров, так выходит я был прав? Никакой особой разницы между ними нет. Они решают одну и ту же задачу тестирования интерфейса. Только функциональные все тестируют внутри, не открывая браузера и как вы процитировали им не требуется сервер - они работают как скрипт.

[Максим Федоров]

DarkByte2015, не совсем

Если говорить про Codeception -- возможно, но в целом функциональные нужны все же для того, чего я и говорил -- для тестирования кусков кода и некоего функционала:
- взаимодействие классов
- тестирование неких кусков кода, которые работают через HTTP в контексте нашего приложения
- тестирование взаимодействия некоторых классов с БД

То есть можно писать имитацию браузера, а можно (нужно) и глубже пойти и тестирваоть буквально немного выше юнит тестов

Answer 1

[Максим Тимофеев]

https://habr.com/post/344588/

Answer 2

[Вячеслав Смирнов]

В теории функциональное и приёмочное - разные типы классификаций.

Приёмочное - один из этапов тестирования в классификации "по времени выполнения" или "по хронологии", где есть разные виды:
* Smoke-test - проверка, что приложение запускается, и что в нём работает основная функциональность
* Приёмочное или входной тест - быстрая проверка того, что новая функциональность, которая отдаётся на тестирование вообще существует в приложении, и новую функциональность можно протестировать. На практике применяется только если разработчики и тестировщики находятся в разных отделах и разработчики выдают большой процент брака на тестирование, спешат и просто оттягивают время передавая на тестирование сырой продукт. А тестировщики, чтобы зря не тратить время на тестирование недоразработанных версий, придумали такой этап - приёмочное тестирование. Который по хронологии идёт перед основным
* Основное тестирование - основные тесты на новую функциональность
* Повторное тестирование - перепроверка, после исправления дефектов и более близкого знакомства с новой функциональностью
* Регрессионное - перепроверка старой и новой функциональности, обычно тех блоков, которые могли сломаться при выводе новых фич

А функциональное - это классификация по целям тестирования и тут на верхнем уровне всего два вида:
* функциональное тестирование - проверка соответствия функциональным требованиям
* нефункциональное тестирование - проверка соотвествия нефункциональным требованиям

Классификация:
https://github.com/polarnik/TypesOfTesting
https://habr.com/company/npo-comp/blog/223833/

Это в теории. А на практике, люди могут называть знакомыми словами знакомые действия. И приёмочное тестирование может означать что угодно.

Comments

[DarkByte2015]

Ну если я хочу просто проверить что весь интерфейс работает так как нужно мне какой вид тестирования использовать? У меня еще никакого нет... Просто конкретно codeception который используется в yii в доках описывает функциональное тестирование - именно как тестирование интерфейса, но без открытия браузера.

[Вячеслав Смирнов]

Прочел, что такое Codeception. А Вы не прочли про классификацию видов тестирования. Это схемы, там слов мало.

А если прочтёте, то станет понятно, что
Codeception в случае тестирования без браузера предлагает тестирование:
* по цели: Функциональное
* по степени автоматизации: Автоматизированное
* по знанию системы: Серого ящика (обращение к REST-методам, а не взаимодействие с пользовальесикм интерфейсом)
* ...

Тестирование остаётся функциональным. Пока, используя Codeception, вы не станете проверять нефункциональные требования:
* защищенность
* производительность
* удобство использования
* ...

тестирование будет оставаться функциональным.

Как только начнёте через REST API yii нагружать сайт или проверять на устойчивость к подбору пароля (защищённость) то тестирование перестанет быть функциональным - по целям тестирования.