Почему MongoDB затыкается на больших скоростях?

Question

[QWATRIX]

Сделал парсер, поставил setInterval на 60 мс

За каждый шаг он должен добавлять от 500 записей.

Все работает на 2000 мс, но это слишком медленно для меня.

У меня была та же история в MySQL, когда ставил слишком маленький интервал, просто ничего не происходило.
Ошибок никаких нет, код работает, но в базе данных появляется максимум 1-2 записи, раз в 30 сек.

Не знаю, имеет ли смысл добавлять код, ибо он стандартный на save(); по модели.

Подскажите, что может быть не так в этой ситуации, мне кажется тут дело не в коде.
Если кто-то встречался с данной проблемой, напишите как решить.

Comments

[QWATRIX]

Подключаюсь к базе так:

mongoose.connect("mongodb://***@***/***", {
  useNewUrlParser: true,
  useUnifiedTopology: true,
  useFindAndModify: false,
  useCreateIndex: true,
});

[N]

https://serverfault.com/questions/743285/mongodb-8...

Я с MongoDB "плотно" не работал...но, как вижу, есть два режима работы этой БД...от которых зависит производительность...
Прочитайте по ссылке негодование человека...

Процитирую:

https://aphyr.com/posts/284-call-me-maybe-mongodb

До недавнего времени клиенты MongoDB по умолчанию не беспокоились о том, чтобы проверить успешность их записи: они просто отправляли их и предполагали, что все идет нормально. Все идет так хорошо, как и следовало ожидать.

https://blog.rainforestqa.com/2012-11-05-mongodb-g...

По умолчанию MongoDB позволяет выполнять очень быструю запись и обновление. Компромисс заключается в том, что вы не получаете явных уведомлений о сбоях. По умолчанию большинство драйверов выполняют асинхронную, «небезопасную» запись - это означает, что драйвер не возвращает ошибку напрямую, подобно INSERT DELAYED с MySQL. Если вы хотите узнать, удалось ли что-то, вам нужно вручную проверить наличие ошибок с помощью getLastError.

В случаях, когда вы хотите, чтобы при возникновении каких-либо проблем выдается сообщение об ошибке, в большинстве драйверов просто включить «безопасные» синхронные запросы. Это заставляет MongoDB действовать привычным образом для тех, кто переходит с более традиционной базы данных.

P.S.: Возможно мои предположения - МИМО...

[d'Ivan]

QWATRIX,
Какое отношение имеет тег Документооборот к вопросу?

[QWATRIX]

Роман Мирр, в MongoDB информация хранится в документах и между ними осуществляется оборот, вот такой вот абсурд...

Answer 1

[Philipp]

Используйте insertMany() https://stackoverflow.com/questions/16726330/mongo...
Если Монгу тошнит и она не успевает сохранять, то вы приплыли. Добро пожаловать в мир шардинга.

По-хорошему, не нужно никаких setInterval(). Распарсили страницу, сохранили, дождались пока она сохранилась, пошли за следующей. Для разбивки между парсингами используйте setTimeout().

Comments

[QWATRIX]

Понял, спасибо, думаю помогли.
Но надо будет ещё проверить.
Слышал о шардинге, но ещё не использовал это. К монге пришел как раз из описания что NoSQL базы данных могут работать с огромным количеством ввода и вывода.

[Philipp]

QWATRIX, они то могут, но у всего есть пределы. Вдобавок, за производительностью всегда стоят некоторые жертвы. Например консистентность данных.