Чем и как можно осуществить круглосуточную бесперебойную видеозапись страниц некоего сайта (подробнее в описании)?

Question

[Артём]

Здравствуйте, спецы!

Требуется решение такой задачи:
Имеется некий сайт, на 2х страницах которого постоянно меняется некая нужная нам информация (не видеопоток).
Нужно записывать всё происходящее на этих страницах сайта (не обязательно весь экран, по сути нужна лишь конкретная область, занимающая примерно 40% от экрана) с возможностью выгрузить себе на стационарный ПК (без остановки записи и потери кадров) любого интервала времени (от часа до, максимум, ориентировочно, 7ми суток) для ускоренной перемотки-просмотра-анализа.

Граббер (вроде, подходящее название, так?) должен функционировать круглосуточно без перерывов и сбоев, т.е. иметь возможность устанавливаться и функционировать на удалённом сервере (VPN, VPS); управление, подключение и выгрузка же частей записанного - со стационарного ПК. Аудиопоток записывать не нужно. Граббер должен самостоятельно сохранять сутки записи с корректным названием файла в видеоформате (.avi, .mp4, .wmv...) в хранилище записей (это помимо выхвата любого фрагмента из текущих суток записи).

Я уже полазил по этим вашим Интернетам, и нашёл только такие похожие примеры и решения:
https://github.com/rdp/screen-capture-recorder-to-... - "screen capture" device and recorder
habrahabr.ru/post/196598 - Фотонаблюдение или timelapse видео на Raspberry Pi
habrahabr.ru/post/208788 - Бесшовное разбиение и склейка видео с помощью DirectShow
habrahabr.ru/post/179167 - Знакомство с GStreamer: Источники данных

Есть ли уже решения для такой задачи? Кто сталкивался с такими задачами?
Возможно ли сделать такой граббер немножко нубам в ИТ? Если да, то каким образом?
Кто возьмётся (ну а вдруг?) за осуществление сего проекта? Или хотя бы поможет грамотно составить техническое задание для Ваших коллег?

Заранее спасибо!

Answer 1

[Армянское Радио]

Вот даром не нужно писать сайт в видеофайл, если изначально это не видеофайл. Это примерно как удалять зуб через глаз, по пути обязательно навестив пятку.

Нужно всего лишь разобрать разметку сайта, найти нужный кусок, и по cron загружать его. Хоть по curl, хоть по wget. Отказоустойчивость банально достигается запуском кучи экземпляров качалки.

Comments

[Артём]

Подозревал, что видео не совсем логично, но его легко просматривать в ускоренной промотке для анализа. Возможно ли из cron, curl или wget (совершенно неизвестные слова =)) собирать видео? И возможно ли делать это круглосуточно, на VPS?

[Армянское Радио]

Артём: Анализировать текст (а html-разметка - это таки текст) ускоренно еще проще чем видео, я практически гарантирую это.
Чтобы достичь желаемого, вам понадобится браузер и любая скриншотилка типа fraps. И чемодан денег на оплату хранения километров бессмысленного видео в HiDef (иначе буковки не видно будет).

[Сергей]

ой да ладно вам ... современные "видеозахватчики" настолько компактно пакуют только ту область что изменилась .... что месяц легко запихать в 60 метров не парясь в вашем случае

[Артём]

Армянское Радио: Хм... Боюсь с текстом всё-таки придётся туже, потому что придётся ещё сделать прогу, которая приводила бы html-текст в удобоваримую форму... К тому же я не совсем уверен, что в html есть нужная инфа (полазил сейчас с помощью просмотра кода элемента - при изменении данных на странице сайта в коде лишь моргает (не меняется) некий XHLDoneIndicator, хотя я, конечно, не особо шарю, могу и ошибаться). Видео наглядней, его быстрее анализировать, т.к. там просто меняются картинки... Значит, по-Вашему, примерно так: аренда VPS, установка на него браузера, установка на него fraps, аренда приличного объёма жёстоко диска и периодическая его очистка, так?

[Армянское Радио]

Артём: учитывая "стабильность" и "текучесть" современных браузеров, вам придется регулярно следить за тем, что этот костыль не упал.

К браузеру еще понадобится плагин для автоматической перезагрузки страницы. Учтите, что админы сайтов иногда читают логи, и завидев, что их сайт кто-то регулярно обновляет, они как минимум задумаются.

[Артём]

Армянское Радио: Инфа на сайте меняется самостоятельно и постоянно, без перезагрузки страницы. Спасибо за Ваш ответ. Подожду ещё решений. Если что, возможно ли к Вам обратиться за помощью?

[Армянское Радио]

Артём: Честно говоря, не знаю чем могу помочь. Если хотите - контактная информация в профиле.