Чем лучше кешировать в php?

Question

[noway]

У меня есть множество страниц, которые динамически формируются и есть задача сделать быстрое кеширование. Каждое тело такой страницы около 50килобайт, страниц таких около 30000


Система работает на php. Кешировать в базу считаю достаточно избыточным. Был memcache, но поскольку он хранит все только в памяти и после перезапуска его кеш падает отказались от него. Сейчас использую mongo, но почему-то она периодически падает на некоторых записях после нескольких дней работы


Нагрузка высокая. Может все эти страницы вообще в файловый кеш перевести?

Answer 1

[Максим]

Возможно, вам поможет nginx с его proxy_store?

Comments

[Максим]

а также с proxy_cache и fastcgi_proxy_cache

Answer 2

[Алексей]

Кэш в файлах рулит для таких объемов, горячие страницы будут в кеше ФС в памяти, остальное не потеряется при рестарте. Я в свое время использовал для сайта на 100-150 тыщ страниц такого же, как у вас размера, но, потому шел в memcached, ибо мне не нужно было хранить кэш после рестарта, а памяти на сервере много, да еще и сжимается все в памяти, проца не жалко.

Comments

[niko83]

при кешировании в файлах следует помнить что нельзя слишком много файлов складывать в одной папке. Это замедляет доступ к файлам. Нужно разбивать на подпапки. Но слишком большую вложенность также следует избегать.
Если кажется что файлов многовато и их кол-во увеличивается — проведения тестирование будет не лишним.

[pietrovich]

можно попробовать сократить расходы на доступ и запись используя tmpfs в качестве хранилища и периодически синхронизировать его с физическим диском, чтобы сократить потери при ребутах. правда особых преимуществ я в этом не вижу, часто читаемое файло все равно будет в память кешироваться, разве что если в кеш и писать часто приходится

[Алексей]

Про раскидывание по директориям — само собой. Мне хватало одного уровня вложенности, ключ кеша строился как md5(от чего-то), и в итоге в директории с кешем было 16 каталогов по последним буквам имен файлов 0-9a-f. Когда дело пойдет на миллионы — стоит вложенность увеличить до двух.

Answer 3

[niko83]

можно попробовать Redis — в нём есть возможность сохранять данные на диск habrahabr.ru/blogs/webdev/81917/

Answer 4

[lashtal]

А membase не то, не? nosql, тот же api, что memcache.

Answer 5

[Вячеслав Плиско]

храните и дальше в memcache, зачем вообще перегружать сервер? вы данные забираете nginx-ом прямо из memcache? в чём проблема перегенерации кэша?