Как можно улучшить процесс тестирования сайта?

Добрый день, для автоматизированного тестирования я использую такой инструментарий: матрица покрытия в excel (набор тест-кейсов, таблицы со стартовыми данными и т.п.) , c# + selenium webdriver, batch-скрипт для параллельного запуска и документирования результатов, документ с результатами, bug-tracker. На данный момент я написал около 100 кроссбраузерных тестов(среднее врямя прохождения теста 1 час), перед уходом с работы я запускаю все тесты, с утра анализирую документ с результатами и заношу ошибки в багтрекер, остальное время занимаюсь редактированием старых тестов, созданием новых и документированием. Посоветуйте, что еще можно добавить в процесс, что можно улучшить?
  • Вопрос задан
  • 2948 просмотров
Пригласить эксперта
Ответы на вопрос 1
@azShoo
Все зависит от того, что хотите улучшать.
В отрыве от существующих проблем есть, фактически, следующие направления:
1) Оптимизация и распаралелливание выполнения тестов.
Цель - делать тестовые прогоны быстрее.
Способ - рефакторинг, параллельные запуски, оптимизация с точки зрения тест-дизайна.

2) Оптимизация тестового набора: или в ширь (увеличение тестового покрытия) или в глубь (большее количество тестовых данных и тестовых сценариев)
Цель - ловить больше дефектов.
Способ - оптимизация тест-дизайна, генерация новых тестовых данных.

3) Стабильность и поддерживаемость. Опять же рефакторинг и оптимизация.

4) Юзабилити. Прикручивание автотестов к билдпланам, генерация отчетов об их прохождении, генерация дефектов в багтрекере при падениях и прочее.
В общем более плотная интеграция с остальной тестовой инфраструктурой.

Это так, на вскидку.
В целом что бы сказать "куда развивать" нужно понимать, чего нехватает.
Тесты не стабильны (псевдо-падения) -> рефакторить, пропускается много багов по покрытыму функционалу - > допиливать тестовый набор\тестовые данные, много времени тратите на анализ результатов прогона и заведение багов - оптимизировать генерацию отчета о тестировании, делать авто-репорт в багтрекер.
Опять же, если на проекте часто актуальны баги типа "правили в одном месте - отвалилось в другом" - нужно максимально актуализировать скорость прогона и прикручивать к билдплану проекта. Запушили изменения - запустились тесты.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы