Как оптимизировать mongo под нагрузки?

Question

[Сергей]

В общем, при индексации сайта поисковые роботы создают нагрузки, да так, что бд подвисает и страницы начинают вылетать по таймауту. Как с этим бороться? Не запретить же поисковиков для индексирования.

UPD, оказывается, не в нагрузках дело, т.к. захожу в консоль и пытаюсь сделать простой запрос, например, такой:

db.articles.find({title:'крым'})

и всё, подвис процесс, ищет и никак не найдет статью.

Может ли это быть связанно с тем что БД стала просто большой и монго уже сложно быстро взять и найти статью? Что делать в этом случае и как быть? БД - копия википедии, так что данных действительно много.

Answer 1

[Пума Тайланд]

индексы в монго, оптимизировать запросы и логику
+ задать время когда индлексировать только ночью
+ задать интенсивн6ость индексирования

Comments

[icoz]

я бы еще шардинг добавил, чтобы распределить нагрузку по хостам...

[Пума Тайланд]

судя по вопросу проект запущен на дешевой маломощной впске, какой тут шардинг то

Answer 2

[lega]

Индекс по полю title есть? db.articles.ensureIndex({title: 1})

title:'крым'

Это точное значение поля, или вы хотите сделать поиск по части названия (полнотекстовый поиск)?