MongoDB регулярно падает, как диагностировать?

Question

[Павел Купцов]

Добрый день!
Проблема с монгоБД. Ее сервис (демон) регулярно падает при активной вставке данных. При этом в логах ничего нет.
Как ее подиагностировать чтобы понять почему она падает?
Настройка сейчас такая:

# mongod.conf
net:
 bindIp: 127.0.0.1
 port: 27017
storage:
 dbPath: /var/lib/mongodb
 engine: wiredTiger
 wiredTiger:
  engineConfig:
   cacheSizeGB: 3
  collectionConfig:
   blockCompressor: snappy
systemLog:
   destination: file
   path: /var/log/mongodb/mongod.log
   logAppend: true

Answer 1

[lega]

Монга может падать если недостаточно места на диске, но это видно по логам.
Если логов действительно нет, то монгу убивают "снаружи", например через kill -9. В линуксе есть демон который убивает приложения которые кушают много памяти. Сколько у вас памяти и вес индексов, сколько монга использует памяти?

Comments

[Павел Купцов]

Да - верно вы сказали. Нашел в логах

mongod invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
mongod cpuset=/ mems_allowed=0

[Павел Купцов]

Странно но в процессе работы память стремительно тает. С чем это связано?
insert query update delete getmore command % dirty % used flushes vsize res qr|qw ar|aw netIn netOut conn time
*0 597 1334 *0 0 1|0 0.4 38.0 0 1.3G 710.0M 0|0 1|0 444k 268k 13 15:23:57

[lega]

Памяти не так много используется, (меньше чем в "спокойном состоянии" из вашего ответа).
Других баз в монге нет?

Проверте ваш скрипт да и другие приложения на потребление памяти, возможно проблема не в монге.

[Павел Купцов]

Ну когда скрипт работает без монги - то все ок. Память не кушается...

[lega]

Проблема может быть в драйвере для монги. В любом случае нужно анализировать кто грабит память, а не гадать на пальцах. Попробуйте перезагрузить скрипт без перезагрузки монги, если память "нормализуется", то проблема точно в скрипте. Так же ещё можете попробовать обновить монгу на всякий пожарный.
Судя по цифрам, монга не использует много памяти.

[Павел Купцов]

Ок, попробую , монга version: 3.0.7, драйвер последний из доступных. Попробую поиграться с перезапуском скрипта.
Вот на сейчас по запросу:

> db.serverStatus().mem
{
        "bits" : 64,
        "resident" : 1570,
        "virtual" : 1708,
        "supported" : true,
        "mapped" : 0,
        "mappedWithJournal" : 0
}

вот что у меня.

Answer 2

[Павел Купцов]

В системе 5 Гб памяти
db.stats() выдает вот что:

{
        "db" : "docs",
        "collections" : 5,
        "objects" : 4732852,
        "avgObjSize" : 240.48514679943509,
        "dataSize" : 1138180608,
        "storageSize" : 361570304,
        "numExtents" : 0,
        "indexes" : 7,
        "indexSize" : 110952448,
        "ok" : 1
}

В "спокойном" состоянии монга использует 30% памяти сервера. Вот монгостат этого состояния

insert query update delete getmore command % dirty % used flushes vsize  res qr|qw ar|aw netIn netOut conn     time
    *0    *0     *0     *0       0     1|0     0.0   49.1       0  1.6G 1.5G   0|0   1|0   79b    15k    1 13:07:18
    *0    *0     *0     *0       0     1|0     0.0   49.1       0  1.6G 1.5G   0|0   1|0   79b    15k    1 13:07:19

Answer 3

[d'Ivan]

Почему mongodb очень долго выполняет запросы?
Может, поможет.

Comments

[Павел Купцов]

Попробовал mongotop, да есть проблемы на вставку и чтение (не всегда такое - но возникает)
ns total read write 2015-12-07T13:51:20+03:00
docs.documents 1783ms 694ms 1089ms
Но ведь это не причина падения? Мне кажется версия с kill -9 вероятней.