Как PHP скрипт может расходовать 20Гб памяти?

Question

[Traney]

Добрый день!

На сервере запускаю скрипт, скрипт имеет вложенные циклы, обращается к файлам на сервере, обрабатывает их и заполняет БД.
БД некоторые таблички имеют несколько сотен тысяч записей, но выборку делаю только нужного и по индексным полям, происходит мгновенно. Тяжелых запросов нет.

Файлы хранятся с именами MD5, разбиты по папкам (.../02/a2/02a263dd93c081eefcf7f2b43e0cde43.html) в одной под папке не больше 10 файлов.

Через htop смотрю сколько он ЖРЕТ памяти, один раз застал его за поеданием 20ГБ ОЗУ, после чего его остановил и решил разобраться с ним.

через memory_get_usage() ( или memory_get_usage(true)), скрипт на старте ест 10 ... 12... мегабайт памяти, всё гуд. Но в тоже время через htop он уже отел 2-3 ГБ.

Прошу понимающих людей объяснить мне, или дать напутствие (ссылку) на понимание этого феномена.

Кто жрет ОЗУ, почему и как это исправить.

Заранее спасибо! :-)

Comments

[Dark Hole]

Так кроме PHP-скрипта есть еще интерпретатор...

[Максим Тимофеев]

цикла вечного нет?

[Traney]

Максим Тимофеев: Нет. Цикла нет. Идет выборка из БД и в foreach перебирается. Память загружается за несколько минут уже на 1-2 Гб. Часов за 15, уже было 20Гб

[Traney]

Dark Hole: КО, это ваш ответ?

[Максим Тимофеев]

Traney: Значит есть переменная в которую закидывается все больше данных. Сложно без скрипта сказать, но думаю что unset() в конце цикла на нужные переменные решит проблему.

[Traney]

Максим Тимофеев: unset() - добавил. Не помогло. Повторюсь, memory_get_usage() - показывает использование 12Мб памяти. Но в htop мой скрипт кушает в Гб. Тут какие-то разные типы памяти используются, но я не понимаю какие.

[Dark Hole]

Traney: нет, это возможное объяснение

[danforth]

Расширения для PHP все типичные, ничего стороннего не накатывали?

[Антон]

Ответ не совсем про вопрос ТС, но была следующая ситуация - скрипт выбирал данные из базы и обрабатывал их в цикле. при некотором количестве данных выпадал с ошибкой о нехватке памяти. Всякие unset()'ы не помогали. Перенёс тело цикла на функцию и память стала очищаться после каждой итерации.

[Traney]

Антон: хорошая идея. Попробую.

[Traney]

danforth: все расширения стандартные, никакой экзотики, умных кэшей не стоит

Answer 1

[Traney]

Решил проблему. Парсил файл с помощью phpQuery, там используются abstract class, экземпляр я не мог создать. Глубоко в это не погружался, но решил его заменить. Заменил на simple html dom, перестало выжирать оперативку и плюс - ощутимый прирост в скорости.

Comments

[Ivan Trubchaninov]

Отлично описанное решение: stinky.su/index.php/2012/11/19/phpquery-i-utechki-...
while(true) {
$html = PhpQuery::newDocument($content);
// работаем-работаем-работаем
phpQuery::unloadDocuments();
gc_collect_cycles();
}

Answer 2

[Алексей Уколов]

Поставьте xhprof и всё увидите.

Answer 3

[Алексей Сундуков]

Через htop смотрю сколько он ЖРЕТ памяти, один раз застал его за поеданием 20ГБ ОЗУ

Какой конкретно? Как минимум в htop видно 3 "вида" памяти: VIRT, RES, SHR. VIRT может быть 20ГБ. Но это не означает использование 20ГБ физической памяти.

memory_get_usage покажет текущий расход памяти. Лучше посмотреть на memory_get_peak_usage(true). И в конце скрипта.

Answer 4

[sim3x]

stackoverflow.com/questions/1735492/is-there-garba...

Answer 5

[Александр Александрович]

Возможно у Вас логируются запросы к БД и оперативная память возрастает.

Answer 6

[newpy]

Смотря как вы файлы считываете, тем более во вложенном цикле. Построчно ли, целиком, если целиком то с помощью какого метода, посмотрите ob_get_level.
В зависимости от вашего решения, попробуйте использовать генераторы (yield) если это возможно. На мой взгляд у вас проблема кроется либо в способах чтения файлов.
Второе узкое место это запись в БД. Операции вставки всегда не дешевые, плюс если их много, попробуйте делать это транзакционно.

Answer 7

[ivanovnickolay]

Очищайте не использываемые переменные, особенно массивы.
Очищайте в ручную как указано тут
php.net/manual/ru/features.gc.collecting-cycles.php