Всем привет! Назрел такой вопрос общего характера:
В базе хранится список добавленных файлов. Php-скрипт через крон сканирует папку каждые 2 секунды и выдает массив имен, который сравнивается с тем что присутствуют в базе, если появились новые имена то файлы обрабатываются и добавляются в БД. Теперь сам вопрос: стоит ли каждые 2 секунды дергать из БД этот список (с учетом того что меняется он не так часто) или же хранить этот список в каком-нибудь отдельном файле?
Соглашусь с Дмитрий , но вставлю свои пять копеек, так как точно не понимаю что именно вы делаете.
Рассмотрите возможность хранения оперативных данных в Redis. Выбираете из БД нужный список раз, скажем, в 10 минут. Засовываете его в Redis и каждые 2 секунды сравниваете список файлов со списком из Redis. Такой вариант подойдёт?
Суть в том, что от стороннего софта мне в определенную папку падают файлы, которые мне необходимо обрабатывать, но при этом файлы я удалять не хотел бы. Для обнаружения новых файлов я придумал эти костыли с сканированием. Если я правильно понял Дмитрия то файлы логичнее хранить в БД, а из папки удалять и просто смотреть не появился ли там новый файл заданного формата. Про Redis впервые слышу ~=] сейчас почитаю что это и как пользоваться.
lyrion, А почему бы просто не хранить где то время последней проверки и не проверять файл на "новость" просто сравнивая дату его создания со временем последней проверки? В принципе если сканировать через определённый интервал, то и время последней проверки хранить не обязательно. Типа искать файлы, время жизни которых меньше интервала.
Можно не удалять, делаете скан папки, пишите время создания крайнего файла, далее в следующий раз смотрите файлы с меткой создания более молодой чем в базе.
В php есть интересные штуки для работы с фс. php.net/manual/ru/book.spl.php
Разделы итераторы и обработка файлов.
Процедурно там придётся писать в разы больше
Сейчас напрямую сохранять в базу я не могу, мне данные приходят и виде файлов. Т.е. я правильно понимаю, смотрим в папке наличие файла заданного формата -> заливаем в базу -> удаляем исходный файл?
Вы бы описывали более подробно задачу. Если надо обновлять бд по приходящим файлам, то сделайте так, но думаю две секунды это лишнее. Раз в минуту. Если уж совсем файлов много.
Дмитрий, прошу прощения, что объяснил не понятно) К сожалению время обновления тоже не я определяю, нужно чтобы эти данные очень быстро попадали на сайт после получения файла, а значит они быстро должны оказатсья в базе. Не знаю правильно ли я вас понял, но идея хранить сами файлы в базе кажется неплохой
