Как актуализировать файлы и данные с разных источников?
Здравствуйте!
Пишу некое подобие менеджера файлового хранилища, объединяющего несколько источников (как локальных, так и всякого рода облаков и FTP серверов). Возник вопрос актуализации данных:
- проверка файлов на физическое существование
- проверка на совпадение при закачке\переносе файла их "хранилища" в "хранилище"
- проверка на присутствие файла ( его url, названия и прочих параметров) в базе данных менеджера
и т.д.
Вопрос: как алгоритмизировать проверки? В случае с локальной папкой с 10-ом файлов на сервере это, скорее не вопрос: сканируем папку и парсим изменения, но если представить что подключаемых серверов может быть десяток (условно), и на каждом из них по несколько сотен, а то и тысяч файлов которые могут закачиваться не только через интерфейс и доступ к которым может быть прерван (не доступен ftp, или элементарно файл кто-то удалил..)
Как "сверять часы" правильно?