Ответы пользователя по тегу Администрирование баз данных
  • MongoDB. Почему при увеличении размера коллекции сильно увеличивается время вставки новых документов?

    @lega
    Возможно резкое падение связано с системой кеширования в ОС, в начале данные загоняются в ram, далее они упираются в лимит и медленно сливаются на диск. Новая БД - новый файл - отдельный кеш блок... - работает быстро в начале.

    Было бы интересно проверить на рам диске, что-б исключить тормоза io, если памяти много.

    Так же вставка должна происходить быстрее чем обновление (когда база пустая, идет как раз просто вставка).
    Т.к. если размер обновления не помещается в старые размеры документа, то его нужно релокйтить.

    "avgObjSize" : 37
    С таким объемом документа процент эффективной информации снижается. Для этой задачи можете попробовать LevelDB или его прототипы, в теории будет экономней и быстрее раз в 10.

    Если создать новую коллекцию и записывать в нее, то все работает как надо.
    Записывается примерно по 300 документов в секунду.
    Отключите ожидание результата, или пишите в параллель. У меня на ноутбуке примерно 10к в сек пишет в пустую коллекцию.
    Ответ написан
    1 комментарий