Повысить максимальную память для composer?

Question

[ff0xff]

Composer version 1.8.0
Как увеличить размер разрешенной памяти для потребления.
При установки падает в фатальную ошибку.
Пробовал:
export COMPOSER_MEMORY_LIMIT=-1
в php.ini ставил memory_limit
php -d memory_limit=512M /usr/local/bin/composer install

Все равно выдает ошибку:

composer install
Loading composer repositories with package information
Updating dependencies (including require-dev)

mmap() failed: [12] Cannot allocate memory

mmap() failed: [12] Cannot allocate memory

mmap() failed: [12] Cannot allocate memory
PHP Fatal error: Out of memory (allocated 638590976) (tried to allocate 67108872 bytes) in phar:///usr/local/bin/composer/src/Composer/DependencyResolver/RuleSet.php on line 84

Fatal error: Out of memory (allocated 638590976) (tried to allocate 67108872 bytes) in phar:///usr/local/bin/composer/src/Composer/DependencyResolver/RuleSet.php on line 84

Comments

[Melkij]

mmap() failed и Out of memory вместо Allowed memory size exhausted - а у вас физически-то память есть? Судя по ошибкам - нет.

[Максим Федоров]

в php.ini ставил memory_limit
php -d memory_limit=512M /usr/local/bin/composer install

писал же, ставьте -1, а не 512

Answer 1

[Борис Сёмов]

У вас проблема не в лимитах, а в нехватке памяти как таковой. Обойти проблему можно подключив swap, например, в виде файла.

Comments

[ff0xff]

WAT??!?!?!?!?

[ff0xff]

Не помогло

mmap() failed: [12] Cannot allocate memory

mmap() failed: [12] Cannot allocate memory
PHP Fatal error: Out of memory (allocated 904929280) (tried to allocate 20480 bytes) in phar:///home/ubuntu/print-press/composer.phar/src/Composer/DependencyResolver/Pool.php on line 205

Fatal error: Out of memory (allocated 904929280) (tried to allocate 20480 bytes) in phar:///home/ubuntu/print-press/composer.phar/src/Composer/DependencyResolver/Pool.php on line 205

[ff0xff]

Тоесть я добавил swap файл на 200 метров не чего не изменилось по факту.

[Борис Сёмов]

Что именно не понятно?
При проблемах с лимитами другое сообщение об ошибке:
Allowed memory size of XXXX bytes exhausted

В вашем же случае, не хватает физической памяти, для того, чтобы отработал composer, который, кстати, кушает её в совершенно не приличных количествах.

Память можно временно нарастить за счёт swap. Проще всего, создать файл нужного объёма, с помощью:
dd if=/dev/zero of=/swapfile bs=1M count=2048
(Получается файл в 2GB забитый нулями, в данном случае.)
Разметить его под свап с помощью:
mkswap /swapfile
И подключить с помощью:
swapon /swapfile

При необходимости, можно его и оставить, добавив нужное в fstab.
Это будет медленнее, но операция завершится успешно.

Также, можно просто добавить памяти, если такая возможность есть.

[ff0xff]

Борис Сёмов, вы серьезно? ему надо 2GB и больше? на что?! ошизеть щас попробую....

[Борис Сёмов]

ff0xff, "Тоесть я добавил swap файл на 200 метров не чего не изменилось по факту. " - пару гигов добавьте, как в моём примере. Композер гиг может сожрать и не подавиться спокойно совершенно.

[Борис Сёмов]

ff0xff, Ну и учтите, что у вас же не только он при этом кушает память. Ваш сервер БД там, и прочее никуда не делось.

[ff0xff]

Борис Сёмов, А Х Е Р Е Т Ь - дружище ты был прав, ахереть вообще я знал что он прожорливый но блин НАСТОЛЬКО! я ему свапу 4GB добавил и только тогда завелся. Что там мать его на 4GB я не понимаю! - ну ладно это бугурт уже....
Если что добовлял 4GB swap и запускал этой командой
php -d memory_limit=-1 composer.phar install
Может кому пригодится....
Борис спасибо! - целый день мне он мозг сношал!

[Борис Сёмов]

=) Пожалуйста.
Да, 4GB это как-то жёстко совсем... =[ ]

[BoShurik]

А что за зависимости? У меня нечто подобное было, когда minimum-stability: dev ставил и/или было много зависимостей вида "dev-master@dev". Если использовать стабильные версии, там все относительно нормально.

[Борис Сёмов]

BoShurik На самом деле, совершенно не разумное потребление памяти, это огромная проблема композера.
Почти ничего из того, что он во время своей работы туда запихивает, там быть попросту не должно.
Как можно было так хреново написать такую важную вещь, совершенно не понятно.
Там где можно было бы использовать килобайты, ну мегабайты, если особо не думать об оптимизации, композер требует гигабайт... Меньше одного не бывает практически никогда, даже на не сложных приложениях.

[ff0xff]

Борис Сёмов, Я кароче задал такой вопрос разрабам на github вот их ответ:

https://en.wikipedia.org/wiki/Boolean_satisfiabili... explains the SAT problem that products like Composer internally need to handle. Specifically how to handle an unknown number of recursive constraints (every package you include includes other packages with specific constraints) is eventually a brute force problem that boils down to evaluating hundreds of thousands or even millions of possible solutions to the original set of constraints.

The solver needs a ton of RAM and CPU power to do that work, and stores the result of its hard work in the lock file. Using the lock file, any machine you want to deploy to can reproduce the solution by just installing what's in the lock file. In that scenario Composer barely uses any RAM at all because indeed it's not doing any hard work internally.

Если интересно ссылка на переписку: https://github.com/composer/composer/issues/7829

[Борис Сёмов]

ff0xff, Там не только в работе алгоритмов разрешения зависимостей проблема, даже распаковывается всё в память, не чистится в процессе - только увеличивается потребление, и.т.п.
Вообще такие вещи можно оптимизировать за счёт времени выполнения в обмен на память практически всегда, и время выполнения тут менее критично.

Мне кажется, довольно бесполезно переписываться, не те люди совсем его пишут, судя по тому, что они предлагают и на какие проблемы ссылаются, и каковы результаты. Они отказываются даже задуматься о решении этой проблемы, уже далеко не в первый раз.

А то, что они предлагают делать всё не на той же машине, откровенный костыль - так работать совершенно не удобно.

[ff0xff]

Борис Сёмов, Вот тут я с вами полностью соглашусь.

Answer 2

[Олег]

$ php --ini
проверьте, что редактировали нужный ini - файл

Comments

[ff0xff]

у меня один php.ini и да я редактировал нужный файл
Дич в том что на другой системе этот проект разворачивается нормально.