Это регрессионные тесты, в том случае, если эти тесты/проверки в состоянии распознать ухудшение в каком-то аспекте качества приложения, после внесения изменений.
Юзабилити тесты могут быть регрессионными. Мы лепили дизайн лепили, а потом выясняется что пользоваться стало невозможно сложно. Регресс в юзабилити. В перформансе или безопасности тоже может быть регресс. Разные аспекты.
Как правило, регрессионное тестирование автоматизируют, потому что человеку свойственно забывать о темных углах своего приложения.