Утечка памяти в Linux?

Question

[AusTiN]

Привет, Хабр.



Такая проблема, на сервере куда-то утекает память.

top — 14:58:30 up 21 days, 16:05, 2 users, load average: 0.66, 0.50, 0.49

Tasks: 145 total, 2 running, 141 sleeping, 2 stopped, 0 zombie

Cpu(s): 15.9%us, 0.0%sy, 0.0%ni, 84.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st

Mem: 8194056k total, 8109096k used, 84960k free, 921072k buffers

Swap: 7815580k total, 764k used, 7814816k free, 6353068k cached

На сервере установлены:

— nginx/0.8.43 (/etc/nginx/nginx.conf, /etc/nginx/sites-enabled/www.hostname.ru

— mysql Ver 14.12 Distrib 5.0.51a, for debian-linux-gnu (x86_64) using readline 5.2 (дефолтный конфиг)

— php5-fpm (php.ini, php5-fpm.conf

PHP 5.3.5-0.dotdeb.0 (fpm-fcgi) (built: Jan 7 2011 00:07:27)

Copyright © 1997-2009 The PHP Group

Zend Engine v2.3.0, Copyright © 1998-2010 Zend Technologies

with Suhosin v0.9.32.1, Copyright © 2007-2010, by SektionEins GmbH

— Sphinx 0.9.9-release (r2117) (indexer --all запускается раз в 5 минут по крону)

— Сайт на CodeIgniter-e, около 5000 HTTP запросов в минуту



Если сервер перезагрузить — всё хорошо, но примерно за неделю вся память сжирается неизвестно куда. Как посмотреть, куда она делась и как её освободить?

Comments

[DorBer]

Небольшой оффтоп: опкод-кэшер не стоит у вас? поставьте.

[AusTiN]

не стоит. какой именно порекомендуете?

[DorBer]

Их много: eaccelerator, xcache, apc и т.д. Я пользуюсь первым. Верить никому нельзя, но говорят, что он получше.

[Антон Коссов]

у eaccelerator'а проблема — нигде не доступен в виде готовых пакетов, приходится ручками собирать. по скорости работы+отжираемой памяти все примерно одинаковы, но xcache на мегабайт-два отжирает побольше + не обновлялся уже больше года, похоже его забросили, так что проще всего прикрутить apc, тем более его планируют скоро включить в состав PHP.

[homm]

tony, все верно. А DorBer лучше правда не слушать :)

Answer 1

[Пума Тайланд]

По мойму вы не разобрались в матчасти и начали истерику.
У вас не кушается свап значит системе хватает памяти. Линукс активно использует для кеша память им собственно и зажрана ваща память, если память нужна будет программе то линукс освободит память для программы.
Бояться надо когда растет swap used
Swap: 7815580k total, 764k used, 7814816k free, 6353068k cached
У меня примерно всегда такая ситуация

Mem: 8039080k total, 7962872k used, 76208k free, 3756k buffers
Swap: 10092536k total, 1516k used, 10091020k free, 7122616k cached

И аналогичная на серверах с 24 гигами оперативы.

Comments

[VBart]

Я бы даже добавил, свободная память — бесполезная память, простаивающая впустую.

Answer 2

[Bobylov]

Это обычный кеш файлов в оперативной памяти. В случае надобности он очищается мгновенно.

Answer 3

[Constantin]

И где тут утечки?
Linux уже пару лет как юзает всею доступную память под кэш (921072k buffers)
Чего паникуем то?

Answer 4

[michs]

Это линукс кэширует файлы. Всё нормально.

Answer 5

[Bobylov]

Утилита htop покажет реальный объем занятой памяти и объем вот этого самого кэша.

Comments

[AusTiN]

htop показывает 827/8002MB. Это означает что реально занято 827мб из всей памяти?

Answer 6

[homm]

Ваша память утекает вот сюда: 921072k buffers 6353068k cached
Просто диву даешься, как сервера оказываются в руках у таких продвинутых специалистов.

Comments

[Макс Кузнецов]

как, как… жизнь глумится( бывают же ситуации, когда «приходиться».

Answer 7

[DorBer]

Скорее всего php5-fpm отжирает. Он ведь занятую память не освобождает. А с ростом запросов еще и дочек плодит, которые занимаются тем же. Вот из вашего конфига:

pm.max_children = 50
pm.start_servers = 20
pm.min_spare_servers = 5
pm.max_spare_servers = 35

Comments

[DorBer]

В top'е должно быть видно.

[DorBer]

Тем более у вас 128 метров на каждую дочку выделяется.

[AusTiN]

Хм, а почему не освобождает и как его заставить освободить? И какие настройки порекомендуете поставить?

[DorBer]

Вот тут есть разговор на эту тему: groups.google.com/group/highload-php-ru/browse_thread/thread/107242c4fb85fd84

[AusTiN]

если честно, так и не понял сколько куда надо поставить...(

[DorBer]

В мануале пишут pm.start_servers:

The number of child processes created on startup. Used only when pm is set to dynamic. Default Value: min_spare_servers + (max_spare_servers — min_spare_servers) / 2.

[DorBer]

А так, видимо, нужно поиграться значениями…

[DorBer]

pm.max_children = (памяти сколько не жалко, например 5000 МБ)/128МБ = 40

[DorBer]

А в статье, которую я выше привел, говорят о возможности убиения процессов ядром, посредством настройки ulimit. Но тут уж я ничего не подскажу.

[Антон Коссов]

есть мнение, что надо ставить статичное количество чилдренов, равное количеству ядер на сервере и, по возможности, использовать fastcgi cache, чтобы лишний раз не трогать их ибо при количестве чилдренов большем, чем количество ядер*2 будет происходить гонка за ресурсы между ними.

Answer 8

[Влад Животнев]

В htop лучше посмотрите сколько памяти занято.

Answer 9

[odmin4eg]

я использую eAccelerator
Собирать руками, да есть такое, также как и nginx это пожалуй всё, что собирается руками из свеженького.