Автотест обхода сайта по всем страницам и проверка наличия контента?

Question

[Bigdgon]

Здравствуйте.
Подскажите пожалуйста по такому вопросу. Есть сайт со кучей различных страниц. Нужно написать автотест который будет обходить все страницы этого сайта и смотреть доступна ли страница или нет. Есть ли на ней статика, картинки, джава скрипты и т.д. И теперь собственно вопросы:
1. Чем можно собрать ссылки на страницы с сайта, кроме как в ручную? По этому вопросу нашел несколько утилит но одна нашла 49999 сылок и остановилась, другая нашла 783.
2. В чем можно написать такие автотесты, и есть ли готовые решения? Может ссылки какие есть на решение данного вопроса. Я писал несложные автотесты на Codeception, но вот сможет ли он выполнить данную задачу?
Сайт написан на PHP.

Answer 1

[Дмитрий Еремин]

запрос в гугле - "web crawler" или "паук для обхода по сайту"
самому написать тоже не трудно:

1. Зашли на страницу
   
2. Собрали все ссылки на странице и добавили их в список ссылок на обход
   
3. Исключили лишние (создайте список ислючений: ссылки на внешние ресурсы, например, начинающиеся на htts://vk.com)
   
4. Выполнили еще свои проверки
   
5. Взяли первую ссылку из списка
   
6. Перешли по ней и удалили из списка на обход
   
7. Повторять список с п.2, пока не кончатся ссылки на обход
   
   

Answer 2

[Николай Конюхов]

Мне кажется вы ставите слишком крупную задачу на тестирование. Есть ли экономическая выгода?
Не работает у вас страница "О компании" с контактными данными - потеряли пару клиентов, которые не смогли дозвониться - представили сумму ущерба. Написали тест для данной страницы - потратили время разработчика - оценили стоимость проведенных работ. Соизмеримы ли данные вещи и необходимо ли тратить время на тестирование данной страницы - вопрос. Не стоит забывать и о поддержании тестов в пригодном виде со временем - при изменении страниц вам придётся опять тратить время разработчика на модификацию теста под новые входные данные.
Если тест в целом простой - проверить код ответа сервера по урл и наличие необходимых элементов (js, css, структуры html) - то можно, думаю, модифицировать кравлер, который кроме сбора урлов сайта еще будет проходиться по эталонным страницам и проверять данные ответ на код и наличие данных. Codeception'ом можно полноценно проверять "весомые" страницы, вроде формы оформления заказа или формы авторизации.

Comments

[Bigdgon]

У нас хотят это сделать руками тестировщика, так что разраба трогать не планируется. Вообще основная цель - после каждого релиза, что то отваливается и нужно после релиза обойти автотестом весь сайт и проверить что все страницы открываются и что там есть картинки, тексты, скрипты (т.е. они не пустые)

Answer 3

[Михаил Шведков]

Для простого тыкания в страницы типа "ты жива еще, моя старушка?" подойдет xenu. Оно же умеет генерить отчеты, сайтмап может собрать. На сайте в 80к+ страниц отчет "немного" вешал систему, но причина, думаю, и без того понятна) Тыкает, кстати, вв все ресурсы (хтмл, жс, цсс, картинки, видосы)