@QWATRIX

Почему MongoDB затыкается на больших скоростях?

Сделал парсер, поставил setInterval на 60 мс

За каждый шаг он должен добавлять от 500 записей.

Все работает на 2000 мс, но это слишком медленно для меня.

У меня была та же история в MySQL, когда ставил слишком маленький интервал, просто ничего не происходило.
Ошибок никаких нет, код работает, но в базе данных появляется максимум 1-2 записи, раз в 30 сек.

Не знаю, имеет ли смысл добавлять код, ибо он стандартный на save(); по модели.

Подскажите, что может быть не так в этой ситуации, мне кажется тут дело не в коде.
Если кто-то встречался с данной проблемой, напишите как решить.
  • Вопрос задан
  • 138 просмотров
Решения вопроса 1
zoonman
@zoonman
CEO @ LinuxQuestions.ru
Используйте insertMany() https://stackoverflow.com/questions/16726330/mongo...
Если Монгу тошнит и она не успевает сохранять, то вы приплыли. Добро пожаловать в мир шардинга.

По-хорошему, не нужно никаких setInterval(). Распарсили страницу, сохранили, дождались пока она сохранилась, пошли за следующей. Для разбивки между парсингами используйте setTimeout().
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы