Куда-то пропала все память. Куда и почему?

Question

[J_o_k_e_R]

При компиляции firefox-17.0.2 с make -j13 (6-ядерный процессор с hyperthreading) почему-то заканчивается память (насколько я понял из лога ниже) и процесс компиляции прерывается. Памяти 32 гигабайта, очевидных для меня вещей, которыми она забилась — нету. В системе есть несколько разделов в tmpfs, но занято явно не на 32 гига:


df -h | grep tmpfs

devtmpfs 16G 4,0K 16G 1% /dev

tmpfs 16G 144K 16G 1% /dev/shm

tmpfs 16G 664K 16G 1% /run

tmpfs 5,0G 144K 5,0G 1% /tmp

tmpfs 15G 2,8G 13G 19% /var/tmp

tmpfs 1,0G 637M 388M 63% /usr/portage


Я конечно могу ребутнуть машину и все будет хорошо (надеюсь), но это как-то не спортивно. К сожалению, не обладаю достаточным количеством знаний в распределению памяти под линуксом. Поэтому буду благодарен во-1, за помощь с устарнением моей проблемы, во-2, за тыканье носом в не очень мозгодробительный материал, позволящий мне в будущем самому разбираться с такими проблемами.

Лог ядраJan 23 16:57:44 cybernest kernel: [246619.816130] cc1plus invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0, oom_score_adj=0
23 16:57:44 cybernest kernel: [246619.816184] CPU 2: hi: 186, btch: 31 usd: 30

Jan 23 16:57:44 cybernest kernel: [246619.816185] CPU 3: hi: 186, btch: 31 usd: 4

Jan 23 16:57:44 cybernest kernel: [246619.816186] CPU 4: hi: 186, btch: 31 usd: 18

Jan 23 16:57:44 cybernest kernel: [246619.816186] CPU 5: hi: 186, btch: 31 usd: 0

Jan 23 16:57:44 cybernest kernel: [246619.816187] CPU 6: hi: 186, btch: 31 usd: 0

Jan 23 16:57:44 cybernest kernel: [246619.816188] CPU 7: hi: 186, btch: 31 usd: 11

Jan 23 16:57:44 cybernest kernel: [246619.816189] CPU 8: hi: 186, btch: 31 usd: 0

Jan 23 16:57:44 cybernest kernel: [246619.816190] CPU 9: hi: 186, btch: 31 usd: 0

Jan 23 16:57:44 cybernest kernel: [246619.816191] CPU 10: hi: 186, btch: 31 usd: 0

Jan 23 16:57:44 cybernest kernel: [246619.816192] CPU 11: hi: 186, btch: 31 usd: 0

Jan 23 16:57:44 cybernest kernel: [246619.816192] Normal per-cpu:

Jan 23 16:57:44 cybernest kernel: [246619.816193] CPU 0: hi: 186, btch: 31 usd: 36

Jan 23 16:57:44 cybernest kernel: [246619.816194] CPU 1: hi: 186, btch: 31 usd: 6

Jan 23 16:57:44 cybernest kernel: [246619.816195] CPU 2: hi: 186, btch: 31 usd: 51

Jan 23 16:57:44 cybernest kernel: [246619.816196] CPU 3: hi: 186, btch: 31 usd: 59

Jan 23 16:57:44 cybernest kernel: [246619.816197] CPU 4: hi: 186, btch: 31 usd: 33

Jan 23 16:57:44 cybernest kernel: [246619.816197] CPU 5: hi: 186, btch: 31 usd: 1

Jan 23 16:57:44 cybernest kernel: [246619.816198] CPU 6: hi: 186, btch: 31 usd: 16

Jan 23 16:57:44 cybernest kernel: [246619.816199] CPU 7: hi: 186, btch: 31 usd: 35

Jan 23 16:57:44 cybernest kernel: [246619.816200] CPU 8: hi: 186, btch: 31 usd: 2

Jan 23 16:57:44 cybernest kernel: [246619.816201] CPU 9: hi: 186, btch: 31 usd: 3

Jan 23 16:57:44 cybernest kernel: [246619.816202] CPU 10: hi: 186, btch: 31 usd: 0

Jan 23 16:57:44 cybernest kernel: [246619.816203] CPU 11: hi: 186, btch: 31 usd: 10

Jan 23 16:57:44 cybernest kernel: [246619.816206] active_anon:1258979 inactive_anon:6168519 isolated_anon:0

Jan 23 16:57:44 cybernest kernel: [246619.816206] active_file:165 inactive_file:317 isolated_file:32

Jan 23 16:57:44 cybernest kernel: [246619.816206] unevictable:0 dirty:0 writeback:0 unstable:0

Jan 23 16:57:44 cybernest kernel: [246619.816206] free:38815 slab_reclaimable:318980 slab_unreclaimable:400535

Jan 23 16:57:44 cybernest kernel: [246619.816206] mapped:6627 shmem:6717307 pagetables:13144 bounce:0

Jan 23 16:57:44 cybernest kernel: [246619.816211] DMA free:15888kB min:8kB low:8kB high:12kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15648kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:16kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes

Jan 23 16:57:44 cybernest kernel: [246619.816211] lowmem_reserve[]: 0 2934 32166 32166

Jan 23 16:57:44 cybernest kernel: [246619.816217] DMA32 free:118880kB min:2092kB low:2612kB high:3136kB active_anon:38972kB inactive_anon:2503304kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:3004748kB mlocked:0kB dirty:0kB writeback:0kB mapped:68kB shmem:2506888kB slab_reclaimable:153132kB slab_unreclaimable:184128kB kernel_stack:40kB pagetables:72kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:103 all_unreclaimable? yes

Jan 23 16:57:44 cybernest kernel: [246619.816218] lowmem_reserve[]: 0 0 29232 29232

Jan 23 16:57:44 cybernest kernel: [246619.816223] Normal free:20492kB min:20852kB low:26064kB high:31276kB active_anon:4996944kB inactive_anon:22170772kB active_file:660kB inactive_file:1348kB unevictable:0kB isolated(anon):0kB isolated(file):128kB present:29933568kB mlocked:0kB dirty:0kB writeback:0kB mapped:26440kB shmem:24362340kB slab_reclaimable:1122788kB slab_unreclaimable:1417996kB kernel_stack:5336kB pagetables:52504kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:3246 all_unreclaimable? yes

Jan 23 16:57:44 cybernest kernel: [246619.816224] lowmem_reserve[]: 0 0 0 0

Jan 23 16:57:44 cybernest kernel: [246619.816225] DMA: 0*4kB 0*8kB 1*16kB 0*32kB 2*64kB 1*128kB 1*256kB 0*512kB 1*1024kB 1*2048kB 3*4096kB = 15888kB

Jan 23 16:57:44 cybernest kernel: [246619.816230] DMA32: 228*4kB 2553*8kB 1056*16kB 501*32kB 94*64kB 46*128kB 16*256kB 9*512kB 7*1024kB 2*2048kB 8*4096kB = 118904kB

Jan 23 16:57:44 cybernest kernel: [246619.816234] Normal: 3388*4kB 0*8kB 0*16kB 4*32kB 3*64kB 2*128kB 1*256kB 1*512kB 1*1024kB 0*2048kB 1*4096kB = 20016kB

Jan 23 16:57:44 cybernest kernel: [246619.816238] 6718337 total pagecache pages

Jan 23 16:57:44 cybernest kernel: [246619.816239] 0 pages in swap cache

Jan 23 16:57:44 cybernest kernel: [246619.816240] Swap cache stats: add 0, delete 0, find 0/0

Jan 23 16:57:44 cybernest kernel: [246619.816241] Free swap = 0kB

Jan 23 16:57:44 cybernest kernel: [246619.816242] Total swap = 0kB

Jan 23 16:57:44 cybernest kernel: [246619.869457] 8388592 pages RAM

Jan 23 16:57:44 cybernest kernel: [246619.869460] 176340 pages reserved

Jan 23 16:57:44 cybernest kernel: [246619.869460] 38383 pages shared

Jan 23 16:57:44 cybernest kernel: [246619.869461] 8160731 pages non-shared

Jan 23 16:57:44 cybernest kernel: [246619.869462] [ pid ] uid tgid total_vm rss nr_ptes swapents oom_score_adj name

Jan 23 16:57:44 cybernest kernel: [246619.869471] [ 759] 0 759 4358 192 14 0 -1000 udevd

Jan 23 16:57:44 cybernest kernel: [246619.869475] [ 2297] 0 2297 2140 38 9 0 0 dhcpcd

Jan 23 16:57:44 cybernest kernel: [246619.869477] [ 2473] 0 2473 2140 38 9 0 0 dhcpcd

Jan 23 16:57:44 cybernest kernel: [246619.869478] [ 2738] 0 2738 5683 51 15 0 0 syslog-ng

Jan 23 16:57:44 cybernest kernel: [246619.869479] [ 2739] 0 2739 14165 221 34 0 0 syslog-ng

Jan 23 16:57:44 cybernest kernel: [246619.869481] [ 2757] 0 2757 1058 35 8 0 0 acpid

Jan 23 16:57:44 cybernest kernel: [246619.869482] [ 2793] 102 2793 5055 238 14 0 0 dbus-daemon

Jan 23 16:57:44 cybernest kernel: [246619.869484] [ 2812] 0 2812 1079392 297 91 0 0 console-kit-dae

Jan 23 16:57:44 cybernest kernel: [246619.869485] [ 2895] 122 2895 100141 985 53 0 0 polkitd

Jan 23 16:57:44 cybernest kernel: [246619.869487] [ 3038] 0 3038 4639 421 14 0 0 openvpn

Jan 23 16:57:44 cybernest kernel: [246619.869488] [ 3075] 0 3075 1074 27 8 0 0 gpm

Jan 23 16:57:44 cybernest kernel: [246619.869490] [ 3179] 0 3179 6694 54 18 0 0 kdm

Jan 23 16:57:44 cybernest kernel: [246619.869491] [ 3183] 0 3183 251653 220003 502 0 0 X

Jan 23 16:57:44 cybernest kernel: [246619.869493] [ 3201] 0 3201 7961 123 18 0 -1000 sshd

Jan 23 16:57:44 cybernest kernel: [246619.869494] [ 3223] 0 3223 15650 128 36 0 0 kdm

Jan 23 16:57:44 cybernest kernel: [246619.869495] [ 3225] 0 3225 67498 1915 119 0 0 apache2

Jan 23 16:57:44 cybernest kernel: [246619.869497] [ 3227] 81 3227 62350 1004 102 0 0 apache2

Jan 23 16:57:44 cybernest kernel: [246619.869499] [ 3240] 1011 3240 186377 8422 185 0 0 apache2

Jan 23 16:57:44 cybernest kernel: [246619.869500] [ 3241] 1011 3241 186377 8384 185 0 0 apache2

Jan 23 16:57:44 cybernest kernel: [246619.869501] [ 3242] 81 3242 532753 8630 172 0 0 apache2

Jan 23 16:57:44 cybernest kernel: [246619.869503] [ 3243] 81 3243 549058 8565 174 0 0 apache2

Jan 23 16:57:44 cybernest kernel: [246619.869504] [ 3397] 0 3397 4199 38 12 0 0 atd

Jan 23 16:57:44 cybernest kernel: [246619.869506] [ 3417] 0 3417 13866 244 32 0 0 cupsd

Jan 23 16:57:44 cybernest kernel: [246619.869507] [ 3446] 105 3446 7921 1282 19 0 0 ddclient

Jan 23 16:57:44 cybernest kernel: [246619.869509] [ 3474] 1000 3474 3817 74 13 0 0 startkde

Jan 23 16:57:44 cybernest kernel: [246619.869510] [ 3483] 1000 3483 6083 75 17 0 0 dbus-launch

Jan 23 16:57:44 cybernest kernel: [246619.869511] [ 3484] 1000 3484 5520 506 16 0 0 dbus-daemon

Comments

[agmt]

А если -j1?

[J_o_k_e_R]

Своп нет, с j1 то же самое. Что делать, чтоб собрать ФФ, я знаю. Могу своп дать, могу перезагрузить. Обычно оно собирает и более тяжелые вещи. Мне бы понять в чем сейчас проблема, где 32 гигабайт?

[NiGHt_LEshiY]

Если вы _уверены_, что при j1 работает один поток сборки и всё равно проявляется такое поведение, то попробуйте убрать из командной строки компилятора указание использовать пайпы: -pipe.

Answer 1

[agmt]

Тут, правда, проблема в винде и линкере, но вдруг поможет: habrahabr.ru/post/134525/.