Как вы тестируете кейсы когда у вас много разных пользователей?

Question

[ShinShil]

Участвую в разработке веб-проекта. По заданию есть много разных пользователей и есть сценарии, где все они взаимодействуют. Сейчас, чтобы протестировать фичу, у меня открыто 6 окон:
1. Edge, Edge Incognito
2. Google Chrome, Google Chrome Incognito
3. Firefox, Firefox Incognito (private)

потому что мне нужно быть залогиненным за 6 разных пользователей, авторизация происходит через токен, который сохраняется в local storage.

Может быть вы знаете, можно ли как-то упростить такой тест кейс? Первое о чём подумал: разбить окно браузера на 6 частей и в каждой части свой local storage :)

Answer 1

[jazzus]

Написать тесты. Например, PHPUnit для php. Для каждого языка есть много разных решений. Можно проверить на ошибки, права доступа для разных пользователей, что видит-не видит на странице, проверка логики и т.д.. Тестировать руками при каждом чихе это жесть и малоэффективно. Тесты очень помогают, ловят много мелких нюансов, связанных с логикой и правами доступа. Поэтому лучше писать тесты до разработки, во время разработки и после разработки.

Answer 2

[Егор Оммоник]

Вы вручную засовываете токен в local storage?
Вопрос немного непонятный, но попробую парочку заметок накидать:
-В книгах по тестированию упоминается pairwise testing, в вашем результате можно сократить чеклист для каждого браузера (поясню, например нет необходимости тестить некоторые пункты одновременно в инкогнито и без)
Вместо изнурительного прогона всех тестов для всех браузеров можно из регресса выделить "основную" часть, которую прогонять полностью на всех и "дополнительную", которая имеет меньший приоритет/критичность, и эту секцию поделить между клиентами.

Описал сумбурно, попробую накидать пример:
Чеклист онлайн-банка: (в скобках наличие большого количества js и подстройки (adapt) под конкретные браузеры в http api)
Авторизация (adapt)
Главная (js, adapt)
Платеж (js)
Перевод
Налоги / справки (js, adapt)
Список операций (js)
Управление услугами
Управление безопасностью (adapt)

секции с adapt / js и критичные секции (которые также могут входить в смок чеклист) проверяем на всех шести клиентах (3 браузера в инкогнито и без)
секции только с одним js или adapt проверяем только на разных браузерах (то есть 3 прогона)
секции без js и adapt делим между неинкогнито вариантами трех браузеров (Перевод проверяем в хроме, управление услугами в firefox и т.д.)
таким образом мы существенно сократим количество проверок без особо ущерба покрытию

конечно это сугубо синтетический пример, в реальности надо подстраиваться под кучу других условий

p.s. надеюсь без поллитра кто - нибудь почерпнет полезное из моей писанины
p.p.s а лучше вкорячить автотесты на апи и автоматизировать проверку верстки / переходов автотестами на ui, там хоть двадцать браузеров вкорячить можно без просадки по затратам)

Comments

[ShinShil]

Спасибо за ответ, авторизация выглядит так,

const token = signUp(login, password);
window.localStorage.setItem("accessToken", token);

далее для нужных запросов, этот токен добавляется в заголовок Authorization:

Authorization: Bearer <window.localStorage.getItem("accessToken")>

Упрощённый пример сценария
1. Пользователь в роли А отправил сообщение пользователю в роли Б, это сообщение показываются у Б в виде попапа с кнопкой
2. Пользователь в роли Б увидел попап и нажал на кнопку, в этот момент обновляется состояние пользователя роли С. Теперь Пользователь в роли С может сделать некоторое действие.
3. Пользователь в роли С выполняет действие, это действие вызывает сторонний апи. Состояние системы обновится, когда этот сторонний апи, вызовет вебхук.
4. Пользователь в роли Д за всем наблюдает, и иногда можно редактировать процессы.

Таких ролей 6 штук. Чтобы что-то делать пользователь должен авторизоваться. Каждый раз разлогиниваться, залогиниваться не удобно. Т.к. токен хранится в Local storage, который шарится между всеми вкладками, в одном окне может быть только один пользователь. Вот и получается 6 окон.

[Егор Оммоник]

ShinShil,
теперь картина прояснилась.
я придумал некоторые возможные трюки:
Первый:
храним в переменных 6 токенов
через selenium открыть шесть окон и после действий А в окне 0 открыть окно 1, прописать bearer token Б и обновить страницу.

Второй: сделать возможность запустить несколько инстансов приложения по url, например
host1.ru
host2.ru...

в таком случае необходимость переопределять токены отпадет, но есть затруднения, связанные с тем что нужное окно не всегда будет активно (это нюанс, но как повлияет на тестирование я хз)

Третий:
делать все в одном окне, с таким pageObject синтаксисом:
user1.sendMessage
applyToken(user2.token)
browser.reloadPage / browser.goToURL
popupMessage.isDisplayed
popupMessage.click

applyToken(user3.token)
browser.reloadPage / browser.goToURL
checkState()

В таком случае (как и в первом) будут проблем общего хранилища, кук и т.д., это надо либо разруливать либо придумывать что - то еще.

Четвертый: нужно разгребать все длинные сценарии на модули, где присутствует максимум два пользователя