Какие тесты включить в CI/CD?

Question

[Sezamrox]

Здравствуйте,

Планируем имплементировать CI/CD в проекте.

Текущая ситуация:
Юнит тесты проходят при каждом билде.
Интеграционные тесты проходят каждую ночь в течение ~1 часа
UI тесты проходят каждую ночью и занимают тоже около часа.

Идея прогонять тесты при каждом билде, либо передать ответственность разработчикам запускать тесты локально перед каждым PR.

Вопрос: как выбрать, какие тесты запускать на каждый билд при текущем объеме и скорости прогонов? 2 часа на PR вряд ли порадует разработчиков.
Нужно ли тестировать всю систему? Есть ли какие то подходы выборочных тестов?

PS: Прошу прощения за непрофессиональный язык, все еще в начале своего пути

Answer 1

[Dmitry Roo]

Если PR (MR) идет в мастер - должны быть запущены все тесты.

Answer 2

[Vitaly Karasik]

В целом согласен с Dmitry Roo - перед тем как разрешить merge to master, запускать все тесты.
UI и интеграционные тесты можно запускать параллельно - получаем всего час, плюс можно посмотреть как еще увеличить производительность если надо.

Comments

[Игорь]

UI и интеграционные тесты можно запускать параллельно

Это если нет деплоя в прод

вообще такой подход практикуется, но я разок налетел на упавший прод по этой причине

когда первый тикет в сервисдеск и интеграционные тесты упали одновременно, через 3 часа, но при этом 3 часа прод наполовину лежал (не там где ожидали)

[Vitaly Karasik]

Это если нет деплоя в прод

Надо деплоить и тестировать в тестовом (stage) окружении перед прод, тогда повышается уверенность что в прод все пройдет нормально.