Стоит ли делать частные запросы в БД?

Question

[lyrion]

Всем привет! Назрел такой вопрос общего характера:
В базе хранится список добавленных файлов. Php-скрипт через крон сканирует папку каждые 2 секунды и выдает массив имен, который сравнивается с тем что присутствуют в базе, если появились новые имена то файлы обрабатываются и добавляются в БД.
Теперь сам вопрос: стоит ли каждые 2 секунды дергать из БД этот список (с учетом того что меняется он не так часто) или же хранить этот список в каком-нибудь отдельном файле?

Answer 1

[Lander]

Соглашусь с Дмитрий , но вставлю свои пять копеек, так как точно не понимаю что именно вы делаете.
Рассмотрите возможность хранения оперативных данных в Redis. Выбираете из БД нужный список раз, скажем, в 10 минут. Засовываете его в Redis и каждые 2 секунды сравниваете список файлов со списком из Redis. Такой вариант подойдёт?

Comments

[lyrion]

Суть в том, что от стороннего софта мне в определенную папку падают файлы, которые мне необходимо обрабатывать, но при этом файлы я удалять не хотел бы. Для обнаружения новых файлов я придумал эти костыли с сканированием. Если я правильно понял Дмитрия то файлы логичнее хранить в БД, а из папки удалять и просто смотреть не появился ли там новый файл заданного формата. Про Redis впервые слышу ~=] сейчас почитаю что это и как пользоваться.

[Lander]

lyrion, А почему бы просто не хранить где то время последней проверки и не проверять файл на "новость" просто сравнивая дату его создания со временем последней проверки? В принципе если сканировать через определённый интервал, то и время последней проверки хранить не обязательно. Типа искать файлы, время жизни которых меньше интервала.

[Дмитрий]

Можно не удалять, делаете скан папки, пишите время создания крайнего файла, далее в следующий раз смотрите файлы с меткой создания более молодой чем в базе.
В php есть интересные штуки для работы с фс.
php.net/manual/ru/book.spl.php
Разделы итераторы и обработка файлов.
Процедурно там придётся писать в разы больше

[lyrion]

Lander, да это же отличная идея! почему я сам не додумался, это и правда икслючит бессмысленные запросы к базе

[lyrion]

Все, всем спасибо за советы. Буду реализовывать)

[Lander]

lyrion, Обращайтесь! :)

Answer 2

[longclaps]

Зачем елозить по расписанию, есть же inotify.
Подробнее.

Comments

[lyrion]

Проблема в том, что я на Windows сижу) крон по привычке назвал, это виндовый планировщик.

[longclaps]

lyrion, у вас под виндовс гугл отрубили? ))

[hOtRush]

inotify довольно глючная хрень даже под линуксом

Answer 3

[Дмитрий]

Проще работать с базой по факту, удаление, добавление файла ... А не сканировать

Comments

[lyrion]

Сейчас напрямую сохранять в базу я не могу, мне данные приходят и виде файлов. Т.е. я правильно понимаю, смотрим в папке наличие файла заданного формата -> заливаем в базу -> удаляем исходный файл?

[Дмитрий]

Вы бы описывали более подробно задачу. Если надо обновлять бд по приходящим файлам, то сделайте так, но думаю две секунды это лишнее. Раз в минуту. Если уж совсем файлов много.

[lyrion]

Дмитрий, прошу прощения, что объяснил не понятно) К сожалению время обновления тоже не я определяю, нужно чтобы эти данные очень быстро попадали на сайт после получения файла, а значит они быстро должны оказатсья в базе. Не знаю правильно ли я вас понял, но идея хранить сами файлы в базе кажется неплохой

[Дмитрий]

Смотря какие файлы. Можно конечно хранить и в blob . Но не сильно большие