В общем, при индексации сайта поисковые роботы создают нагрузки, да так, что бд подвисает и страницы начинают вылетать по таймауту. Как с этим бороться? Не запретить же поисковиков для индексирования.
UPD, оказывается, не в нагрузках дело, т.к. захожу в консоль и пытаюсь сделать простой запрос, например, такой:
db.articles.find({title:'крым'})
и всё, подвис процесс, ищет и никак не найдет статью.
Может ли это быть связанно с тем что БД стала просто большой и монго уже сложно быстро взять и найти статью? Что делать в этом случае и как быть? БД - копия википедии, так что данных действительно много.
Простой
