Куда крадётся память linux?

Question

[mafet]

Ubuntu 14.04.1 LTS со всеми установленными на момент написания сообщения обновлениями. Используется для трансляции радио с помощью icecast. Работает под виртуалкой vmware esxi 5.5.
Ранее работала на реальном железе под более старой ubuntu, что, наверное, не столь важно.
Заметил стала тотально выедаться память (видимо по какой-то причине версия icecast не очень совместима с версией убунты), но вот что странно - в ps aux, top, htop не видно, что память сожрана именно icecast. Более того, она не освобождается после перезапуска icecast, но я уверен, что проблема явно в нём.
Судя по top видно, что съедено в общей сложности 45788кб памяти, а free показывает 158 мб. И я понимаю, что такое буферы и кеш, это явно не они.

# free
             total       used       free     shared    buffers     cached
Mem:       1017036     239852     777184        504      24968      56804
-/+ buffers/cache:     158080     858956
Swap:      1044476          0    1044476
#

ps aux

icecast   1053  1.8  1.0 308580 10596 ?        S<l  23:16   0:27 /usr/local/bin/icecast -b -c /usr/local/etc/icecast.xml

top

top - 23:45:51 up 29 min,  1 user,  load average: 0.08, 0.08, 0.06
Tasks: 129 total,   1 running, 128 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.1 us,  0.2 sy,  0.0 ni, 99.6 id,  0.1 wa,  0.0 hi,  0.1 si,  0.0 st
KiB Mem:   1017036 total,   251100 used,   765936 free,    25232 buffers
KiB Swap:  1044476 total,        0 used,  1044476 free.    56856 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                                                                              
 1053 icecast   10 -10  308580  10860   2240 S   6.5  1.1   0:32.87 icecast

Число свободной памяти в /proc/meminfo уменьшается, но что именно её занимает - не отмечено.
Я подозреваю, что всё же это icecast делает, ведь на сервере только он и есть, но как и почему? Как это диагностировать?

Answer 1

[Константин]

подробным изучением /proc/meminfo
работаю с файловым сервером с 32gb ram, свободно на нем от силы 200-300, все уходит в cache/pagecache

Answer 2

[jcmvbkbc]

Что-то я не понимаю, на что вы жалуетесь: гиг памяти, из него 240М используется, а остальное свободно.

Судя по top видно, что съедено в общей сложности 45788кб памяти, а free показывает 158 мб.

Где? 251100 used написано в top. 777184 написано во free.

Comments

[mafet]

Я имел ввиду, что 158м used памяти написано в выводе команды free во второй строчке.

[jcmvbkbc]

> 158м used памяти написано в выводе команды free во второй строчке.
Ок, 158 по мнению free используется без учёта кэша/буферов.
А откуда берётся "Судя по top видно, что съедено в общей сложности 45788кб памяти"?

[mafet]

jcmvbkbc: Вот тут не правильно написал.
Посчитал с помощью
ps aux|awk '{s+=$6} END {print s}'
Но возможно это не верный метод расчёта, но других идей нет, как считать занятую память. Даже на корректно работающих серверах, значение, посчитанное по вышеуказанному методу, не соответствует used в выводе команды free.
Оно и понятно - есть ещё ядро, которое тоже что-то ест, но как понять, что именно поедает память?

[jcmvbkbc]

> Посчитал с помощью ps aux|awk '{s+=$6} END {print s}'
Сумма RSS? Но какой в этом смысл? RSS отражает сколько физической памяти ядро использует под задачу, это число слабо коррелирует с возможными утечками памяти.
Скорее стоило бы смотреть на VIRT (он же VSZ) вашего процесса -- сколько виртуальной памяти он занимает.

> как понять, что именно поедает память?
Смотрите в:
- cat /proc/meminfo : Slab, KernelStack, PageTables;
- cat /proc/vmallocinfo: вторая колонка (после диапазона адресов) -- количество выделенных страниц;
- cat /proc/slabinfo -- если Slab в /proc/meminfo большой.

Answer 3

[Эргил Осин]

Ну дропните вы кэши, если очень хочется
sync; echo 3 > /proc/sys/vm/drop_caches
https://www.kernel.org/doc/Documentation/sysctl/vm.txt

Comments

[mafet]

Да не кеши это!

# free
             total       used       free     shared    buffers     cached
Mem:       3081416    2095996     985420        504      73672     332512
-/+ buffers/cache:    1689812    1391604
Swap:      1044476          0    1044476

Вот чем занято 1,7 гигов памяти? В ps aux не видно.

# ps aux
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0  33512  2772 ?        Ss   01:52   0:01 /sbin/init
root         2  0.0  0.0      0     0 ?        S    01:52   0:00 [kthreadd]
root         3  0.0  0.0      0     0 ?        S    01:52   0:00 [ksoftirqd/0]
root         4  0.0  0.0      0     0 ?        S    01:52   0:00 [kworker/0:0]
root         5  0.0  0.0      0     0 ?        S<   01:52   0:00 [kworker/0:0H]
root         7  0.0  0.0      0     0 ?        S    01:52   0:04 [rcu_sched]
root         8  0.0  0.0      0     0 ?        S    01:52   0:01 [rcuos/0]
root         9  0.0  0.0      0     0 ?        S    01:52   0:02 [rcuos/1]
root        10  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuos/2]
root        11  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuos/3]
root        12  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuos/4]
root        13  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuos/5]
root        14  0.0  0.0      0     0 ?        S    01:52   0:01 [rcuos/6]
root        15  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuos/7]
root        16  0.0  0.0      0     0 ?        S    01:52   0:00 [rcu_bh]
root        17  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuob/0]
root        18  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuob/1]
root        19  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuob/2]
root        20  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuob/3]
root        21  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuob/4]
root        22  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuob/5]
root        23  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuob/6]
root        24  0.0  0.0      0     0 ?        S    01:52   0:00 [rcuob/7]
root        25  0.0  0.0      0     0 ?        S    01:52   0:00 [migration/0]
root        26  0.0  0.0      0     0 ?        S    01:52   0:00 [watchdog/0]
root        27  0.0  0.0      0     0 ?        S    01:52   0:00 [watchdog/1]
root        28  0.0  0.0      0     0 ?        S    01:52   0:00 [migration/1]
root        29  0.0  0.0      0     0 ?        S    01:52   0:00 [ksoftirqd/1]
root        30  0.0  0.0      0     0 ?        S    01:52   0:00 [kworker/1:0]
root        31  0.0  0.0      0     0 ?        S<   01:52   0:00 [kworker/1:0H]
root        32  0.0  0.0      0     0 ?        S    01:52   0:00 [watchdog/2]
root        33  0.0  0.0      0     0 ?        S    01:52   0:00 [migration/2]
root        34  0.0  0.0      0     0 ?        S    01:52   0:00 [ksoftirqd/2]
root        35  0.0  0.0      0     0 ?        S    01:52   0:00 [kworker/2:0]
root        36  0.0  0.0      0     0 ?        S<   01:52   0:00 [kworker/2:0H]
root        37  0.0  0.0      0     0 ?        S    01:52   0:00 [watchdog/3]
root        38  0.0  0.0      0     0 ?        S    01:52   0:00 [migration/3]
root        39  0.0  0.0      0     0 ?        S    01:52   0:00 [ksoftirqd/3]
root        40  0.0  0.0      0     0 ?        S    01:52   0:00 [kworker/3:0]
root        41  0.0  0.0      0     0 ?        S<   01:52   0:00 [kworker/3:0H]
root        42  0.0  0.0      0     0 ?        S    01:52   0:00 [watchdog/4]
root        43  0.0  0.0      0     0 ?        S    01:52   0:00 [migration/4]
root        44  0.0  0.0      0     0 ?        S    01:52   0:00 [ksoftirqd/4]
root        45  0.0  0.0      0     0 ?        S    01:52   0:00 [kworker/4:0]
root        46  0.0  0.0      0     0 ?        S<   01:52   0:00 [kworker/4:0H]
root        47  0.0  0.0      0     0 ?        S    01:52   0:00 [watchdog/5]
root        48  0.0  0.0      0     0 ?        S    01:52   0:00 [migration/5]
root        49  0.0  0.0      0     0 ?        S    01:52   0:00 [ksoftirqd/5]
root        50  0.0  0.0      0     0 ?        S    01:52   0:00 [kworker/5:0]
root        51  0.0  0.0      0     0 ?        S<   01:52   0:00 [kworker/5:0H]
root        52  0.0  0.0      0     0 ?        S    01:52   0:00 [watchdog/6]
root        53  0.0  0.0      0     0 ?        S    01:52   0:00 [migration/6]
root        54  0.0  0.0      0     0 ?        S    01:52   0:00 [ksoftirqd/6]
root        55  0.0  0.0      0     0 ?        S    01:52   0:00 [kworker/6:0]
root        56  0.0  0.0      0     0 ?        S<   01:52   0:00 [kworker/6:0H]
root        57  0.0  0.0      0     0 ?        S    01:52   0:00 [watchdog/7]
root        58  0.0  0.0      0     0 ?        S    01:52   0:00 [migration/7]
root        59  0.0  0.0      0     0 ?        S    01:52   0:00 [ksoftirqd/7]
root        61  0.0  0.0      0     0 ?        S<   01:52   0:00 [kworker/7:0H]
root        62  0.0  0.0      0     0 ?        S<   01:52   0:00 [khelper]
root        63  0.0  0.0      0     0 ?        S    01:52   0:00 [kdevtmpfs]
root        64  0.0  0.0      0     0 ?        S<   01:52   0:00 [netns]
root        65  0.0  0.0      0     0 ?        S<   01:52   0:00 [writeback]
root        66  0.0  0.0      0     0 ?        S<   01:52   0:00 [kintegrityd]
root        67  0.0  0.0      0     0 ?        S<   01:52   0:00 [bioset]
root        68  0.0  0.0      0     0 ?        S<   01:52   0:00 [kworker/u17:0]
root        69  0.0  0.0      0     0 ?        S<   01:52   0:00 [kblockd]
root        70  0.0  0.0      0     0 ?        S<   01:52   0:00 [ata_sff]
root        71  0.0  0.0      0     0 ?        S    01:52   0:00 [khubd]
root        72  0.0  0.0      0     0 ?        S<   01:52   0:00 [md]
root        73  0.0  0.0      0     0 ?        S<   01:52   0:00 [devfreq_wq]
root        74  0.0  0.0      0     0 ?        S    01:52   0:00 [kworker/2:1]
root        76  0.0  0.0      0     0 ?        S    01:53   0:00 [khungtaskd]
root        77  0.0  0.0      0     0 ?        S    01:53   0:00 [kswapd0]
root        78  0.0  0.0      0     0 ?        SN   01:53   0:00 [ksmd]
root        79  0.0  0.0      0     0 ?        SN   01:53   0:00 [khugepaged]
root        80  0.0  0.0      0     0 ?        S    01:53   0:00 [fsnotify_mark]
root        81  0.0  0.0      0     0 ?        S    01:53   0:00 [ecryptfs-kthrea]
root        82  0.0  0.0      0     0 ?        S<   01:53   0:00 [crypto]
root        94  0.0  0.0      0     0 ?        S<   01:53   0:00 [kthrotld]
root        96  0.0  0.0      0     0 ?        R    01:53   0:00 [kworker/7:1]
root        97  0.0  0.0      0     0 ?        S    01:53   0:00 [scsi_eh_0]
root        98  0.0  0.0      0     0 ?        S    01:53   0:00 [scsi_eh_1]
root       119  0.0  0.0      0     0 ?        S<   01:53   0:00 [deferwq]
root       120  0.0  0.0      0     0 ?        S<   01:53   0:00 [charger_manager]
root       121  0.0  0.0      0     0 ?        S    01:53   0:00 [kworker/4:1]
root       122  0.0  0.0      0     0 ?        S    01:53   0:00 [kworker/5:1]
root       123  0.0  0.0      0     0 ?        S    01:53   0:00 [kworker/3:1]
root       181  0.0  0.0      0     0 ?        S    01:53   0:00 [kworker/0:1]
root       184  0.0  0.0      0     0 ?        S    01:53   0:00 [scsi_eh_2]
root       185  0.0  0.0      0     0 ?        S<   01:53   0:00 [vmw_pvscsi_wq_2]
root       186  0.0  0.0      0     0 ?        S<   01:53   0:00 [kpsmoused]
root       187  0.0  0.0      0     0 ?        S    01:53   0:00 [kworker/6:1]
root       197  0.0  0.0      0     0 ?        S    01:53   0:01 [kworker/1:1]
root       198  0.0  0.0      0     0 ?        S    01:53   0:00 [kworker/7:2]
root       199  0.0  0.0      0     0 ?        S<   01:53   0:00 [kdmflush]
root       200  0.0  0.0      0     0 ?        S<   01:53   0:00 [bioset]
root       202  0.0  0.0      0     0 ?        S<   01:53   0:00 [kdmflush]
root       203  0.0  0.0      0     0 ?        S<   01:53   0:00 [bioset]
root       218  0.0  0.0      0     0 ?        S    01:53   0:00 [jbd2/dm-0-8]
root       219  0.0  0.0      0     0 ?        S<   01:53   0:00 [ext4-rsv-conver]
root       371  0.0  0.0  19476   916 ?        S    01:53   0:00 upstart-udev-bridge --daemon
root       373  0.0  0.0      0     0 ?        S<   01:53   0:00 [ext4-rsv-conver]
root       382  0.0  0.0  51568  1908 ?        Ss   01:53   0:00 /lib/systemd/systemd-udevd --daemon
root       429  0.0  0.0  15276   396 ?        S    01:53   0:00 upstart-file-bridge --daemon
syslog     477  0.0  0.0 255844  2460 ?        Ssl  01:53   0:00 rsyslogd
root       490  0.0  0.0      0     0 ?        S<   01:53   0:00 [ttm_swap]
message+   527  0.0  0.0  39224  1280 ?        Ss   01:53   0:00 dbus-daemon --system --fork
root       548  0.0  0.0  43452  1840 ?        Ss   01:53   0:00 /lib/systemd/systemd-logind
root       588  0.0  0.0  15260   412 ?        S    01:53   0:00 upstart-socket-bridge --daemon
root       915  0.0  0.0  15820   952 tty4     Ss+  01:53   0:00 /sbin/getty -8 38400 tty4
root       918  0.0  0.0  15820   960 tty5     Ss+  01:53   0:00 /sbin/getty -8 38400 tty5
root       923  0.0  0.0  15820   964 tty2     Ss+  01:53   0:00 /sbin/getty -8 38400 tty2
root       924  0.0  0.0  15820   952 tty3     Ss+  01:53   0:00 /sbin/getty -8 38400 tty3
root       926  0.0  0.0  15820   952 tty6     Ss+  01:53   0:00 /sbin/getty -8 38400 tty6
root       947  0.0  0.1  61364  3084 ?        Ss   01:53   0:00 /usr/sbin/sshd -D
root       952  0.0  0.0   4368   676 ?        Ss   01:53   0:00 acpid -c /etc/acpi/events -s /var/run/acpid.socket
root       958  0.0  0.0  23656   944 ?        Ss   01:53   0:00 cron
daemon     959  0.0  0.0  19140   160 ?        Ss   01:53   0:00 atd
root       977  0.0  0.0  19288   804 ?        Ss   01:53   0:02 /usr/sbin/irqbalance
icecast    986  4.0  0.5 308580 17368 ?        S<l  01:53  23:08 /usr/local/bin/icecast -b -c /usr/local/etc/icecast.xml
root      1084  0.0  0.0  15820   948 tty1     Ss+  01:53   0:00 /sbin/getty -8 38400 tty1
root      1214  0.0  0.0      0     0 ?        S    01:53   0:00 [kauditd]
ntp       1256  0.0  0.0  31448  2128 ?        Ss   01:53   0:01 /usr/sbin/ntpd -p /var/run/ntpd.pid -g -u 105:112
root      2472  0.0  0.0      0     0 ?        S<   04:52   0:00 [kworker/u17:1]
root      4988  0.0  0.0      0     0 ?        S    10:56   0:00 [kworker/u16:0]
root      5093  0.0  0.0      0     0 ?        S    11:13   0:00 [kworker/u16:2]
root      5151  0.0  0.1  99440  4172 ?        Ss   11:22   0:00 sshd: root@pts/0    
root      5153  0.1  0.1  22380  3588 pts/0    Ss   11:22   0:00 -bash
root      5171  0.0  0.0  18448  1304 pts/0    R+   11:22   0:00 ps aux

[Эргил Осин]

mafet: а вы дропните и покажите еще разок free -m

[mafet]

Эргил Осин:

# sync; echo 3 > /proc/sys/vm/drop_caches
# free -m 
             total       used       free     shared    buffers     cached
Mem:          3009       1694       1314          0          0          8
-/+ buffers/cache:       1685       1323
Swap:         1019          0       1019
#