Есть ли локальное ПО по созданию скриншотов веб-приложения с переходом по присутствующим в нем ссылкам?
Этот вопрос ближе к реверс-инженерии. Просто не хочу изобретать велосипед.
Ищу ПО, можно и Windows, и Linux, которое:
по заданному корневому веб-адресу и заданной поисковой глубине анализировало ссылки веб-приложения, переходя от станицы к станице, сохраняя только те ссылки в памяти (файл, БД), страницы которых относятся именно к указанному сайту и имеют больший объем контентной «наполненности», предполагая, что веб приложение спроектировано по MVC паттерну..
делало скриншоты веб-страниц с прокруткой, чьи ссылки указаны в каталоге из п.1.
желательно поддерживало варианты создания скриншотов для различных браузеров, и их десктопной и мобильной версий.
работало без Интернета.
Суть в том, что именно это предстоит мне скоро сделать вручную с некоторым не малым количеством веб-приложений. Работа можно сказать «одноразовая». Сделал и забыл. Хотя затруднений в реализации п.1 и п.2 не вижу. Но может есть уже у кого?
Есть мощные и тяжелые продукты вроде Selenium.
Есть маленькие и простые, но решающие ваши задачи, вроде такого. Тут даже написано как скриншоты делать.
Но программировать все равно придется, но не много. Задача простая очень.
Спасибо. Но вот Selenium latest перенаправляет на xserve.openqa.org:8085. А codeproject поможет, посмотрим, что в итоге рисуется в WebBrowser у .NET. Осталось дело за малым — получить ссылки по п.1. Хотя каталог можно сделать сторонними средствами и на другой платформе. Мне это видится как Perl и Wget/cUrl (хотя загрузку можно и самим perl сделать, не суть).
У меня с этой страницы никуда не перенаправляет селениум.
Все вроде закачивается.
По поводу пункта 1: Ну алгоритм вы описали фактически — осталось только в виде кода оформить.
Берете страницу, пробегаетесь по всем ссылкам на ней (поищите как это сделать в том механизме что будете использовать), заносите их в кеш (например файл), чтобы по одной ссылке два раза не заходить. Если такая ссылка есть в кеше — пропускаете.
Принадлежность урла сайту проверяете тем, что ссылка начинается с названия сайта или относительна (начинается со слеша).
По поводу «наполенностью» сайта — не знаю что вам точно нужно. Самый простой вариант — пропускать страницы меньше какого нибудь размера (не знаю — ну там 500кб например — подберете). Можно как то умнее — например проверять размер только текста на страницы без тегов или как выковыривать с сайта контент по каким то правилам. Вам виднее — в простейшем случае — делаем по простому.
Написать такое можно «на коленке», но добиваться правильного поведения придется подбором параметров и тестированием на реальных данных.
По поводу платформы разработки — лучше делать на том на чем умеете.
Перл даже селениум не поддерживает. Если будете одну часть делать на одной платформе, другую на другой, как будете интеграровать решения? На дот нете в принципе можно все реализовать.
Но если уж реально на перле умеете работать — благо дот нет — кроссязыковая среда — можно использовать PerlNET или на крайняк вызывать дот нет библиотеки вот так
