Способ хранения файлов: MySQL, NoSql или что-нибудь еще?

Question

[Ad1ce]

Здравствуйте.

Продумываю систему и встали следующие задачи. Необходимо:
1. Хранить около миллиона html фалов
2. Столько же текстовых файлов
3. zip, pdf файлы
4. Необходим поиск по текстовым и html файлам

Если это имеет значение, то имею некоторый опыт по использованию связки mysql+sphinx.
Масштабируемость нужна примерно до 10 миллионов html и столько же текстовых файлов.

Какие решения можете посоветовать?
1. Где и как лучше хранить html и txt файлы?
2. Где и как лучше хранить архивы и pdf?
3. Как хранят данные, к примеру, поисковые системы? Где почитать?

Answer 1

[casey]

Навскидку mogilefs (старо, проверено но по моему опыту — очень глючно работает в связке с nginx) и gridfs (шайтан-труба, наш выбор).

Comments

[Ad1ce]

Т.е. вы имеете ввиду ставить либо mogilefs, либо mongodb? С поиском по файлам не возникнет проблем?

[casey]

Да, мысль такая. Полнотекстный поиск можно сделать через sphynx (наверняка уже есть готовый адаптер), по точному вхождению — средствами mongodb. В общем случае — проблем быть не должно, детально — надо пробовать.