Как сделать синхронизацию файлов с сайта с подгрузкой изменений?

Question

[wdfk]

День добрый!

Подскажите как решить такую задачу:
1) Есть сайт на котором выложены файлы и папки
2) После того как они все были скачены с сохранением структуры появилась локальная копия файлов и папок

На сайте периодически происходят изменения в файлах и папках (изменение, добавление, удаление).
Как отследить эти изменения?
Моментальные уведомления не требуются, но например 1 раз в неделю или 1 раз в месяц.

Как я понимаю есть 2 варианта решения:
1) Скачивать все файлы и проверять локально на изменения в структуре и файлах (по названиям и контрольной сумме)
2) Проверять файлы перед скачиванием (только по названию видимо) и скачивать только те что были добавлены

Но какой алгоритм более верный и с помощью каких инструментов можно решить эту задачу?

Answer 1

[Aleksandr]

FileZilla. Сравнение директорий.

Comments

[wdfk]

Файлы находятся на сайте с доступом по http.
По ftp доступа нет к сожалению.

[Aleksandr]

wdfk, вы указали тэг «Парсинг». Я предположил, что вы пользовались каким-либо программным инструментом. Пользовались? Как скачивали файлы?

[wdfk]

Aleksandr, В данном случае не остается других вариантов кроме как парсить страницу сайта. Ранее я заказывал подобную услугу (название инструмента не известно), но теперь мне кроме самого скачивания надо еще и делать сравнение и понимать какие изменения произошли с прошлого раза.

[Aleksandr]

Teleport Pro может скачивать файлы указываемых типов.

Попробуйте его, попробуйте аналоги. Будете сами себе парсщик.