Как начать тестирование сайта?

Question

[adun3]

Здравствуйте!
Надо написать тестирование сайта. Есть питон 2.7.2, есть селениум, есть документация(). Посоветуйте пожалуйста как начать. Может книжку какую посоветуете.
Интересуют вопросы: Как вообще должно выглядеть тестирование?(теста на каждый блок\модуль сайта, или на каждую страницу, или на целый сайт), при каждом обновлении сайта запускать тесты или раз в день\неделю, куда тесты пишут о своем успехе\проблемах, и кто читает этот "лог".
Общие вопросы, но надо быстро разобраться.
Спасибо.

Answer 1

[Толстый Лорри]

Selenium - на базе обычных юнит-тестов, с ассертами ("сколько пальцев видишь?", "на месте ли кнопка?"). Они медленные, поэтому гонять оптимально ночью, вместе с интеграционными (API, сложные сценарии с данными). Они интеграционные, поэтому покрывать нужно реальные сценарии, т.е. функциональные блоки. У нас, например, тестировщики пишут тест-кейсы (текст вида: "Пойди туда - получишь то."), а по ним программируются автотесты, т.е. точно так, как бы проверял человек. Неплохо бы помимо логов при падении делать скриншоты.
Чем больше покрытие - тем лучше, хотя нужно как-то балансировать, чтобы не чинить их 50% времени от разработки новой фичи =)

Юнит тесты гонять каждый коммит (в маленьком проекте можно руками перед коммитом, а в большом - силами CI после каждого коммита).

Comments

[xfg]

Да, медленные и ломкие. Можно их писать только на критические юзер-кейсы, типа регистрации или оплаты на сайте. Остальное покрывать юнит-тестами.

[Талик]

ничего подобного. Медленные - так это вопрос оптимизации. Да и сам Селениум - это только драйвер браузеров, а не фреймворк. Селениум позволяет запускать тесты и параллельно в несколько потоков.

А для тестирование, можно и нужно использовать фреймворки, написанные на основе Селениум (Selenide, Predator).

[Талик]

Талик: B PS/ Selenide реализовывает кучу ожиданий, что очень сильно улучшает стабильность. + Умеет делать скриншоты по умолчанию (в Селениуме можно настроить создание скриншотов).

[Толстый Лорри]

Талик: Селениум медленный by-design, ибо взаимодействует с DOM, через браузер, через веб-стек, через сетевые задержки. Даже браузер запускается несколько секунд. Я имею в виду сравнение с юнит-тестами, которые прогоняются непосредственно на той же машине и их можно гонять десятки раз на дню.

[Талик]

Толстый Лорри: по сравнению с UT да, медленнее.. но так и назначение у них разные. Однако, всяко быстрее реального пользователя)

Answer 2

[Талик]

Интересуют вопросы: Как вообще должно выглядеть тестирование?(теста на каждый блок\модуль сайта, или на каждую страницу, или на целый сайт),

Тут как пожелаете. Конечно в первую очередь нужно написать тест на критичные бизнес-процессы.
Затем на менее критичные и т.д. на сколько позволяет время и бюджет

при каждом обновлении сайта запускать тесты или раз в день\неделю,

По хорошему, нужно запускать при каждом изменении, но тут все зависит от того, какие именно были изменения.
У нас автотесты бегают принудительно каждую ночь на свежесобранной чистой среде. + по запросам комитов

куда тесты пишут о своем успехе\проблемах, и кто читает этот "лог".

Тут надо понять, каким образомы вы собираетесь их запускать. Существует куча фреймворков Тестранеров.
У них обычно есть методы логирования результатов тестов. Но есть и фреймворки для сбора отчетов типа Alura