Есть ли локальное ПО по созданию скриншотов веб-приложения с переходом по присутствующим в нем ссылкам?

Question

[BorisPlus]

Этот вопрос ближе к реверс-инженерии. Просто не хочу изобретать велосипед.

Ищу ПО, можно и Windows, и Linux, которое:

1. по заданному корневому веб-адресу и заданной поисковой глубине анализировало ссылки веб-приложения, переходя от станицы к станице, сохраняя только те ссылки в памяти (файл, БД), страницы которых относятся именно к указанному сайту и имеют больший объем контентной «наполненности», предполагая, что веб приложение спроектировано по MVC паттерну..
   
2. делало скриншоты веб-страниц с прокруткой, чьи ссылки указаны в каталоге из п.1.
   
3. желательно поддерживало варианты создания скриншотов для различных браузеров, и их десктопной и мобильной версий.
   
4. работало без Интернета.
   

Суть в том, что именно это предстоит мне скоро сделать вручную с некоторым не малым количеством веб-приложений. Работа можно сказать «одноразовая». Сделал и забыл. Хотя затруднений в реализации п.1 и п.2 не вижу. Но может есть уже у кого?

Answer 1

[Константин]

Такого нету, есть Selenium, с его помощю можно сделать.

Answer 2

[pletinsky]

Да, задача специфическа, скорее всего такого приложения не существует в готовом виде.

Вообще вот тут все написано :)

Есть мощные и тяжелые продукты вроде Selenium.
Есть маленькие и простые, но решающие ваши задачи, вроде такого. Тут даже написано как скриншоты делать.

Но программировать все равно придется, но не много. Задача простая очень.

Comments

[BorisPlus]

Спасибо. Но вот Selenium latest перенаправляет на xserve.openqa.org:8085. А codeproject поможет, посмотрим, что в итоге рисуется в WebBrowser у .NET. Осталось дело за малым — получить ссылки по п.1. Хотя каталог можно сделать сторонними средствами и на другой платформе. Мне это видится как Perl и Wget/cUrl (хотя загрузку можно и самим perl сделать, не суть).

pletinsky, Вы бы как сделали?

[pletinsky]

У меня с этой страницы никуда не перенаправляет селениум.
Все вроде закачивается.

По поводу пункта 1: Ну алгоритм вы описали фактически — осталось только в виде кода оформить.
Берете страницу, пробегаетесь по всем ссылкам на ней (поищите как это сделать в том механизме что будете использовать), заносите их в кеш (например файл), чтобы по одной ссылке два раза не заходить. Если такая ссылка есть в кеше — пропускаете.
Принадлежность урла сайту проверяете тем, что ссылка начинается с названия сайта или относительна (начинается со слеша).
По поводу «наполенностью» сайта — не знаю что вам точно нужно. Самый простой вариант — пропускать страницы меньше какого нибудь размера (не знаю — ну там 500кб например — подберете). Можно как то умнее — например проверять размер только текста на страницы без тегов или как выковыривать с сайта контент по каким то правилам. Вам виднее — в простейшем случае — делаем по простому.

Написать такое можно «на коленке», но добиваться правильного поведения придется подбором параметров и тестированием на реальных данных.

[pletinsky]

По поводу платформы разработки — лучше делать на том на чем умеете.
Перл даже селениум не поддерживает. Если будете одну часть делать на одной платформе, другую на другой, как будете интеграровать решения? На дот нете в принципе можно все реализовать.
Но если уж реально на перле умеете работать — благо дот нет — кроссязыковая среда — можно использовать PerlNET или на крайняк вызывать дот нет библиотеки вот так

[pletinsky]

Чтобы не повторялись страницы можно кстати запоминать не ссылки на которые ходил (они могут быть разные у одинаковых страниц, а хеш страницы).

[Eugene]

хорошая мысль