Почему такой неадекватный расход памяти?

Question

[Макс]

Подскажите плз, почему при вызове `php artisan schedule:run` на серваке с `memory_limit='4000M'` и оперативной 8гб результатом является обрыв скрипта с ошибкой:

Allowed memory size of 4194304000 bytes exhausted (tried to allocate 3219132416 bytes)

А при вызове такой же команды локально, с таким же лимитом, всё нормально отрабатывает, спустя секунд 7.

И прикол в том, что это значение доходит до ~ 6.3 ГБ, если `memory_limit` поставить 100000M и более.
То есть сколько бы я memory_limit не поставил, отжор памяти колоссальный, никак не связанный с реальным потреблением. И в таком случае процесс обрывается сообщением Killed!

Comments

[Роман Олегович]

Да вариантов миллион может быть, но очевидно, что есть какая то разница между локальным запуском и запуском на серваке.
Я бы начал с проверки, что env одинаковый ...

доходит до ~ 6.3 ГБ, если `memory_limit` поставить 100000M.
и корректно отрабатывает то в итоге?
кажется команда artisan schedule:run выводит отработанные задания ... по крайней мере должна с ключем -vvv

[Макс]

Env одинаковый, разве что ссылаются на локальные базы.
В итоге сервак виснет, так как на нём 8гб. Отсюда и Killed в консоли.

[Макс]

Роман Олегович, почему тогда реальный расход памяти 3219132416 байт, а в итоге на серваке расход по факту составляет более 6 ГБ?

[AlexVWill]

Макс,

В итоге сервак виснет, так как на нём 8гб. Отсюда и Killed в консоли.

Почему так не знаю, но чтобы не вис сделай ему своп на 8, а лучше на 16.

[Виктор Кожухарь]

Если на локалке и на проде по-разному жрёт память, то проблема, скорей всего, в вашем коде. Ведь базы данных, наверняка разные, и обрабатываете вы разные объемы данных. И если вы в каком-то цикле маленькими кусочками обрабатываете большие данные, временные переменные в которых содержат большие куски данных, то сборщик мусора может не успевать очищать память. Она лавинообразно накапливается и вылетает.

[Макс]

Виктор Кожухарь, базы данных одинаковые, я их синхронизировал перед тем как выполнять скрипт.

[Роман Олегович]

А если закомментировать задачу и запустить шедулер без заданий ?
А если запустить задание не из шедулера а вручную, коммандой например?

[Михаил Ливач]

почему тогда реальный расход памяти 3219132416 байт, а в итоге на серваке расход по факту составляет более 6 ГБ?

Макс, Вы неправильно поняли смысл этой фразы:

Allowed memory size of 4194304000 bytes exhausted (tried to allocate 3219132416 bytes)

Означает она следующее: сколько-то памяти было потрачено, потом PHP запросил аллокацию 3.2 Гб памяти, и это превышало выделенный лимит в 4000M.
Обычно люди сначала сталкиваются с чем-то вроде "Разрешённые 256Мб памяти исчерпались (пытался выделить 768 байт)". У Вас какой-то экстремальный случай, особенно с учётом 7 секунд на работу.

[Макс]

Разобрался. Просто у меня в джобе была ошибка, а обработка ошибок была настроена криво. В классе обработки ошибок вызывалась ошибка) Отсюда и заполнение памяти, потом вылет)
Всем спасибо за ответы)

Answer 1

[Виктор Кожухарь]

У утечки памяти может быть миллион разных причин. Искать их, просто читая код - это искать иголку в стоге сена.

Поэтому, умные люди придумали профайлинг. Мы собираем статистику и пытаемся её отобразить в более-менее наглядном виде.

Например, есть вот такой инструмент
https://github.com/arnaud-lb/php-memory-profiler
Readme очень подробный, и можно, в принципе, им и обойтись.

Есть ещё вот такие видео, в которых всё более комплексно и подробно

https://www.youtube.com/watch?v=NNMp-97rk9c&t=219s

https://www.youtube.com/watch?v=56I5C0NYjv8&t=293s

Удачи в поисках!

Comments

[Макс]

Спасиб, гляну)