Как ограничить количество воркеров MongoDB?

Question

[Vas3K]

Собственно, процесс mongod очень сильно параллелится, что обычно хорошо, но в моем случае начинает жрать всю память и от большой нагрузки иногда падает. Нужно как-то ограничить количество воркеров (или тред пул, что там у него), чтобы, скажем, больше 5 никогда не создавал и ставил остальных в очередь. Не могу найти параметр настройки.



А то получается вот так и сильно прожорливо:



Хотелось бы умерить пыл.

Answer 1

[TimTowdy]

А у вас монго на отдельных серверах крутится? Если нет, то вряд ли проблема решаема, монго рассчитывает на то что он может скушать всю память и не отдавать её.

Comments

[TimTowdy]

www.markus-gattol.name/ws/mongodb.html#limit_ram_usage

[Vas3K]

Понятно. Тогда вопрос закрыт.

[Владимир Чернышев]

Хм… Неприятная особенность.

[Vas3K]

Сам опечален. Как жаль, что выясняется только сейчас, а не на стадии проектирования проекта. Будет мне уроком — выбирай технологии тщательнее :(

[homm]

Держать всю память забитой на основном сервере очень нежелательно. Часто нужно оставлять 40-50% памяти свободной под дисковый кеш ОС.

Вынесете базу на отдельный виртуальный сервер. Например, с VDS на Линоде это вообще не проблема, все купленные ресурсы там делятся среди нескольких виртуальных машин в любых пропорциях.

[Владимир Чернышев]

2homm: Сложновато выносить, когда под проект куплен VDS. Покупать второй — надо будет платить за трафик между серваками, даже если они на одной физической машине, специально уточнял, но думал возможность вертикально масштабироваться в 8 раз минимум от необходимости горизонтальной масштабируемости надолго избавит.

[TimTowdy]

Если весь проект на одном VDS — о монго не стоит даже и думать. Он не рассчитан на работу без репликации — single server durability появится только в 1.8, и даже после этого крайне не рекомендуется запускать его на одном сервере.

[homm]

Удивительно, почему во всех хвалебных статьях об этом ни слова.

[Пума Тайланд]

А кто вам сказал что придется платить за трафик между серверами?
У кого хоститесь если не секрет?

[Владимир Чернышев]

У реселлера хетцнера. Не то, чтобы платить, но по истечению какого-то объёма трафика скорость порежут и для восстановления надо будет платить.

Answer 2

[TravisBickle]

Трололо. Там 1 процессс, который порождает по треду на каждый коннект.

Comments

[librarian]

Именно так, в настройках htop отключите отображение тредов

[Vas3K]

Огромная разница, ога. Я написал про тредпул в вопросе. Сути это не меняет.

Answer 3

[Пума Тайланд]

Нет там такого, по крайней мере в оф документации.
Может у вас какие то косяки с основными настройками, подкрутить их и станет немного легче, ну или запросы по оптимизировать.

Comments

[Vas3K]

Какие косяки могут быть с настройками? Там из настроек-то десять строчек настроек логов. Ваши советы?
И очень странно, что такой настройки нет.

[Пума Тайланд]

Выложите конфиг + строчку запуска монго + запросы которые больше всего грузят монго + конфиг сервера