Как работает взаимосвязь Nginx, php-fpm и php.ini?

Question

[Дмитрий]

Здравствуйте. Имеется сервер Nginx + php-fpm.
В php.ini указаны следующие лимиты:

upload_max_filesize = 100M
post_max_size = 100M
max_execution_time = 30
max_input_time = 60
memory_limit = -1

В конфиге nginx -

client_max_body_size 1G;
client_header_timeout 1m;
client_body_timeout 1m;
send_timeout 1m;

До изменения memory_limit, скрипт постоянно отваливался, не давая загрузить файл большого размера, даже когда лимит на использование памяти стоял 500мб, файл 40мб не давал грузить.
Я понимаю, что php-fpm использует php.ini. Используется для загрузки XMLHttpRequest.
В реальности же, я могу грузить файлы до 1гб, тратя на это 20 минут. Phpmyadmin, в свою очередь, показывает лимит 100мб для импорта базы. Получается, параметр post_max_size не работает или работает выборочно? Как это происходит вся эта взаимосвязь? Спасибо.

Comments

[Lynn «Кофеман»]

Php-fpm не использует php.ini. У него свой файл конфигурации

[chumric]

Алексей Тен: как это не использует? phpinfo() подскажет какие *.ini загружены и использованы

[Дмитрий]

chumric: c2n.me/3yun5Wu нужно попробовать поставить лимит в 1мб и загрузить какой-нибудь дамп чтобы посмотреть, сработает или нет

Answer 1

[Сергей Протько]

Используется для загрузки XMLHttpRequest.

XmlHTTPRequest это часть API брауера, PHP ничего о нем не знает и не отличает от остальных HTTP запросов (заголовок который по дефолту ставится можно убрать). То есть уберите в своем представлении разницу между ajax и обычными запросами.

Как это происходит вся эта взаимосвязь?

nginx проксирует HTTP запрос на php-fpm. Вот и все. Он с ним больше ничего не делает и настройки ограничивающие что можно орабатывать у него свои.

То есть мы грузим файл в 1 гиг, тело запроса буферизуется (по умолчанию, можно отключить директивой fastcgi_request_buffering но тогда свои ограничения, хотя думаю вам оно не особо важно) и потом прокидывается в пых, где тот смотрим что тело запроса слишком большое (больше сотни мегабайт) и грустит.

Comments

[Дмитрий]

Сергей Протько спасибо за ответ. Фишка в том, что правила в php.ini игнорируются, и используется правило загрузки до 1гб. Как вот тут разобраться?

[chumric]

Дмитрий: phpinfo() что говорит?

[Дмитрий]

chumric: то же самое, что я и написа выше. Конфигурация одна

[chumric]

Дмитрий: настройки можно переопределить в скрипте или в конфиге пула fpm

[Сергей Протько]

Дмитрий: повторюсь. Сначала nginx загружает ВЕСЬ файл в 1 гиг, и потом уже дает его PHP а тот грустит что может только 100 мегабайт. Во всяком случае это из вашего описания проблемы и я расписал почему так происходит.

[Дмитрий]

Сергей Протько: дело в том, что php не "грустит", как вы выражаетесь :) Он спокойно грузит файл. Сейчас попробовал поставить лимит на 2гб в конфиге nginx, не меняя ничего в php.ini, и всё загрузилось. Я выше писал, что хочу понять, почему так происходит. Я понимаю ваши рассуждения, но они в данном случае как минимум не работают.

[Сергей Протько]

Дмитрий: ну так а что тот же phpinfo вам говорит? Возможно вы переопределяете через fastcgi_params эти вещи.

[Дмитрий]

Сергей Протько: clip2net.com/s/3yun5Wu вот что

[Сергей Протько]

Дмитрий: я имею в виду значения для max_upload_size и т.д.

[Дмитрий]

Сергей Протько: как и написал выше, 100M везде стоит

[Сергей Протько]

Дмитрий: в phpinfo значение какое?

[Дмитрий]

Сергей Протько: c2n.me/3yv58EL на словах не верите? :)

[Алексей Романенко]

Дмитрий: у вас в nginx конфиг не инклюидтся ничего?
если версия nginx 1.10 дайте вывод nginx -T если нет, проверьте все инклюды на параметры fastcgi*

[Дмитрий]

Алексей Романенко: 1.8.1 стоит. Инклюдятся, но там вообще ничего особенно нету, переменные типа fastcgi_param QUERY_STRING $query_string; и тд. Кстати, может и не данной теме, но fpm почему-то отказывается работать при нагрузке (30 запросов в секунду примерно). Как только пользователи идут на сайт, отклик становится всё больше и больше. В логе ошибка: connect() to unix:/var/www/php-fpm/server.sock failed (11: Resource temporarily unavailable). Я создал пользователя server через isp. При открытии отдаёт 502 ошибку. До этого стояла связка apache + nginx, но апач очень много жрёт проца, решил переставить, но как-то недоволен. Куда копать, не подскажете?

[Алексей Романенко]

Дмитрий: у нас связка nginx+php-fpm и мы держим примерно 500 rps. Nginx проверен временем давно. В вашем случае нужно внимательно смотреть конфиги и читать логи.

[Дмитрий]

Алексей Романенко: буду настраивать, только учу так сказать fpm, много чего не понимаю :) Отладчик показывает, что всё ок в приложении, да и оно оптимизировано. Может не хватает памяти. Если ничего не получится, создам тред новый, распишу конфиги. Может, проблема в версии nginx 1.8.1? обычно ставлю везде 1.4.6, правда с апачем, а в этот раз решил собрать поновее версию.

[Алексей Романенко]

Дмитрий: у нас в продакшене разные версии nginx. Поверьте, если там нет огромной логики, а у вас скорее всего нет, то на любой версии будет одинаково +-.

Вам Сергей Протько уже написал. Давайте попробую я.
Nginx (1G) -> PHP (100M) -> ваше приложение (в коде могут быть тоже ограничения любые)

Вся эта цепочка синхронная. Т.е. пока nginx не загрузит файл к себе в кеш -- дальше файл не пойдет. Как только он загрузил весь файл он его отдает в php и так далее.
Можете представить правила как воронку. Каждый раз разрешенный размер уменьшается.

[Дмитрий]

Алексей Романенко: вы меня тоже не поняли, как и Сергей :) скрипт php грузит файл 1гб при конфиге в 100мб. Именно эта ситуация меня интересует. То что вы повторили Сергея, роли не сыграет) я понял, что хотите донести, но это не объяснение причины такого поведения сервера

[Алексей Романенко]

Дмитрий: не, я понял, вы нас не до конца понимаете. Смотрите, первое с чем взаимодействует браузер, это сервер nginx. Забудьте про php. На странице заливки файла вы выбираете файл 1гб, затем жмете отправить, и этот запрос уходит на nginx. PHP узнает об этом файле только тогда когда nginx загрузит весь файл целиком.

[Дмитрий]

Алексей Романенко: хорошо. Я знаю как работает эта схема, я не первый год этим занимаюсь. Вот nginx загрузил. Почему php не скажет, что не может загрузить? У него же лимит 100, а файл nginx загрузил 1гб.

[Алексей Романенко]

Дмитрий: не хотел обидеть никоем образом. Действительно не сразу понял что вы хотите так глубоко копать.

Быстро погуглил, и почитал документацию про заливку в пхп, но нашлось мало что интересного:
https://www.daniweb.com/programming/web-developmen...
stackoverflow.com/questions/11514166/check-file-si...
php.net/manual/ru/features.file-upload.php

Думаю что на ваш вопрос кроме разработчиков пхп никто не ответит. Можете еще почитать исходники самого пхп. Ну или я плохо умею гуглить :)

Предположу лишь то, что для проверки на стороне пхп, нужно дождаться сигнала о том заливка произошла (сырые данные будут в темповой папке) и после этого делается на уровне системы get size && check size

[Дмитрий]

Алексей Романенко: не обидели ни разу :) может я двусмысленно написал. Я так понял, что нужно это просто принять, как есть. Правда нужно проверить с апачем как обстоят дела в этом плане

[Алексей Романенко]

Дмитрий: будет не совсем корректно сравнивать, ngnx+fpm а apache + php_module. Но вы попробуйте. А чем вам проверка на клиенте не подходит? Вроде все браузеры это умеют.

[Дмитрий]

Алексей Романенко: а мне не для проверки. Чисто ради интереса. Проверить то на клиенте можно без проблем)

[Cpydev]

Дмитрий нашли решение вопроса?

[Дмитрий]

Cpydev, честно говоря, уже не помню, так как использую совершенно другие инструменты

Answer 2

[nikolayvaganov]

закиньте на сервер <?php phpinfo(); ?> и посмотрите, какие конфиги пхп подгружаются.