Zend Cache и как быть с большим количеством файлов кэша?

Question

[usja]

Есть проект, который написан на Zend. В качестве кэширования используется файловый Zend_Cache.
В некоторые записи кэша попадают данные по 2-10 Мб.
Есть и разные мелкие.
Общее количество файлов кэша ~ 5000.
При таком количестве очистка кэша по тэгу, а, порой, и чтение данных по ключу кэша отправляет сервер в долгие размышления файлы Cache.php (библиотека Zend Framework).
Как быть в этой ситуации? Переносить кэш с файлов в Memcache?

Настойки:

$cacheBackendOptions = array(
'cache_dir' => APPLICATION_PATH . '/data/cache/',
'file_name_prefix' => 'klm',
'hashed_directory_level' => 2

);
$cache = Zend_Cache::factory('Core',
'File',
$cacheFrontendOptions,
$cacheBackendOptions);

* This source code was highlighted with Source Code Highlighter.

Comments

[usja]

Игрался с hashed_directory_level — результата нет.
Кэш используется только для хранения данных полученных от базы данных.

Answer 1

[Пума Тайланд]

Да вы правы дайте мемкеша ему, смените файловую систему, кешируйте не все подряд, а только популярное.

Comments

[Пума Тайланд]

Так кешируйте не все запросы к бд, а только популярные.

Answer 2

[zizop]

Есть несколько вариантов.
1. Оставляете кэш в файлах, ставите SSD-диск :-)
2. Оставляете HDD-диск, переносите кэш в memcached/apc(shmop), благо в ZF переключить адаптер раз плюнуть.
Кстати, почему вы раньше не перенесли кэш в Memcached? Унаследованный код?

Comments

[usja]

На тот момент на сервере его не было. К сожалению, админ сервера не я. И чтобы что-то настроить или установить, приходиться очень долго вести беседу.

Answer 3

[usja]

Я, так понимаю, что вся проблема в винте, точнее в скорости чтения?
В принципе, на том сервере еще сайтов 5-6.

Answer 4

[beono]

2-10 Мб это много. Смею предположить, что толку от такого кеша нет, т.к. будет тратиться много времени на чтение огромных файлов кеша. Может вы там много лишнего у БД запрашиваете?

Comments

[usja]

Есть выборка для Zend_Paginator всех записей из БД, вот там и такие цифры, т.к. данных много.
Правильного решения, как «красиво» работать с кэшем и paginator для зенда я не нашел. Видел, только момент, когда пагинатору «скармливали» общее количество записей.
Если расскажите, как сделать с минимальной нагрузкой работу с paginator, буду очень благодарен.

[beono]

Через setRowCount пробовали?

framework.zend.com/manual/ru/zend.paginator.usage.html#zend.paginator.usage.dbselect

$adapter = new Zend_Paginator_Adapter_DbSelect($db->select()->from('posts'));
$adapter->setRowCount(
    $db->select()
       ->from(
            'item_counts',
            array(
               Zend_Paginator_Adapter_DbSelect::ROW_COUNT_COLUMN => 'post_count'
            )
         )
);

[usja]

Да, но меня смущает один момент — мы же все равно выбираем все записи
$db->select()->from('posts')

[beono]

$db->select()->from('posts') не выполняет запрос. Это просто объект запроса. Вам нужно его передать в конструктор Zend_Paginator_Adapter_DbSelect. Далее адаптер сам изменит этот объект так чтобы не выбирать все поля и в нужный момент сделает fetchAll (выполнит запрос).

Эти адаптеры не извлекают все записи из базы данных для того, чтобы посчитать их. Вместо этого адаптеры используют исходный запрос для получения соответствующего COUNT-запроса, этот запрос выполняется для получения общего количества строк. Таким образом, производится еще один дополнительный запрос к базе данных, но это во много раз быстрее, чем извлечение всего результата и использование count(), особенно в случае больших объемов данных.

Если это не помогает, то тогда можно использовать setRowCount. Опять таки, вы передаете только объект запроса, это не значит что будет выполнено два запроса. ZF будет использовать для подсчета только последний.

[usja]

Но в конечном итоге, все равно же будет выполнен запрос с выборкой всех записей

[beono]

Да, но результат выборки будет содержать одно поле, в котором будет значение общего числа записей, а это всего несколько байт.

[usja]

Помимо результат выборки, всё равно нужно иметь эти данные.