Средство автоматизации регрессионного тестирования?

Question

[AnotherAnkor]

Встала задача автоматизировать регресс для ФТ.
Покопавшись в сети, пришёл к выводу, что testcafe (преждевременно).
В ходе тестирования самого testcafe обнаружил, что он не умеет загружать фото, например, во время записи сценариев. Т. о. он уже не подходит, поскольку выбран был прежде всего за обещанную производителем автоматизацию создания сценариев.
Есть ещё cypress, но его тестированием я займусь прямо сейчас.
А какие ещё инструменты, кроме опостылого селениума есть для автоматизированного регресса браузерного ФТ?
Хочется, чтобы:

1. создание и поддержание сценариев не отнимала слишком много много времени,
   
2. можно было бы записать хотя бы бОльшую часть действий через браузер,
   
3. это был бы не питон и не java,
   
4. максимально был исключён кодинг, но с возможностью править результирующий код,
   
5. есть возможность загружать файлы на сайт (как фотография профиля, например) и выполнять проверки выгружаемых документов.
   

Лично мне очень нравится идея писать на js и использовать nodejs.
Но любые другие средства, отвечающие моим хотелкам я тоже рассмотрю.
Вот эту статью видел. Но не всё в ней понравилось.

Comments

[sim3x]

это был бы не питон и не java,

а что? И почему не питон и не джава?

[AnotherAnkor]

sim3x, потому что мне они не нравятся.

[sim3x]

AnotherAnkor,

а что?

Answer 1

[taktik]

Как вариант можно посмотреть на CodeceptJS. Но сам не пользовался, про минусы не знаю.
Есть статья на хабре - https://habr.com/ru/post/319656/

Comments

[AnotherAnkor]

Спасибо! Реально классно и я возьму на заметку, но он также как и все виденные мною прежде не решает проблемы загрузки документов.

Answer 2

[Дмитрий Еремин]

так, а я пропустил: а почему Selenium не рассматривается?
Он умеет загружать файлы и поддерживается js

Comments

[AnotherAnkor]

не то, чтобы умеет. Скорее не умеет.

[Дмитрий Еремин]

AnotherAnkor, как это не умеет?
умеет
нужно просто инпуту указать путь до файла
.sendKeys('path/to/file');
диалоговое окно открывать не нужно

[AnotherAnkor]

Дмитрий Еремин, ок.
Приходилось работать с ФИС?
Весь интерфейс на JS. Как проверить функциональность скриптов, которые отрабатывают при нажатии на кнопку "файл"?

[Дмитрий Еремин]

так. какие-то новые требования подключаются

если скрипты настолько критически важны, что проверку необходимо автоматизировать, то я спрошу, а что должно быть по нажатию?
должен отправится какой-то запрос? как вариант - встречать на бэке
изменения в юи? селениум это проверит
просто изменения во внутреннем стейте? но вы их не проверите не только селениумом, но и тесткафе, кодесептом и т.д. Тут нужно будет с разработчиками обсуждать
если они заведудт методы, чтобы этот стейт можно было узнать - селениум умеет исполнять js в браузере

но это, опять же, при условии, что там какие-то космически важные скрипыт запускаются при нажатии на кнопку Обзор (Choose file)

[AnotherAnkor]

Дмитрий Еремин, см. мой ответ Кириллу Горелову. Я там немного развернул, почему вот так, а не иначе.
Возможно, мне где-то не хватает опыта, чтобы адекватнее решить задачу. Но пока что я вижу её так, что мне нельзя вмешиваться в нормальную работу сценариев. Т. е. должны отработать сценарии и элементы страницы. И, кстати, потому ни один фреймворк не решает задачу, как было задано в вопросе.
Склоняюсь к ответу - никак.
Следовательно, мне следует отказаться от автоматизации кейсов загрузки фото и сканов и оставить их мануальщикам. Но в то же время, я могу взять тот мизерный процент кейсов, которые обходятся без этих действий. Тогда я могу остаться на testcafe или codeceptjs, как посоветовал taktik.

Answer 3

[Кирилл Горелов]

Без обид???)
Но написал так, что складывается ощущение, что код должен сам понять что тестировать и сам написать это, а тебе только алерты присылать.
Смотри в сторону Gemini от яндекса https://events.yandex.ru/lib/talks/2594/
Отличная вещь.

Comments

[AnotherAnkor]

Ну, хотя бы потому, что есть testcafe. Очень крутая вещь, которую можно передать обычным мануальщикам или самому быстро накидать сценарий. Но загрузка файлов для него не возможна.
За ссылку спасибо, ознакомлюсь.

[AnotherAnkor]

Посмотрел. Судя по этому выступлению - умеет скриншоты делать. Не совсем то, чего хотелось.
У меня в итоге дело стало за загрузкой файлов.
Как обычно, проблема в скрытых полях и большом количестве js, который тоже нужно проверять.

[Кирилл Горелов]

AnotherAnkor, ААА, я понял, нужно тестировать загрузку файлов на сервер??
Только на сколько я знаю, это не относится к регрессиному тестированию. И подумал что тебе нужно сравнивать скриншоты между собой после изменений. Как раз я и подумал gemini.
А загрузку я бы тестировал через selenium. Про другие средства не сильно заморачивался.

[AnotherAnkor]

Кирилл Горелов, не совсем.
Тестировать нужно ФИС. Эта такая система банковская. Именно через неё в некоторых банках оформляют кредиты, например.
А там уже в свою очередь нужно загружать фото на шагах и сканы документов, кроме непосредственного заполнения форм данными клиентов.
И вот тут уже возникают сложности.