PHP проблема при заливке файлов размеров более 2GB?

Question

[criminalist]

Здравствуйте, столкнулся с проблемой при загрузке на сервер файлов более 2GB, при помощи PHP и формы.

Первый момент очень долго идет загрузка, например файл загружается за 5 минут, но после полной загрузке пропадает из папки /tmp и видимо копируется уже в директорию сайта, вот почему то этот процесс очень долгий и на нем происходит обрыв по всей видимости.
В логах сыпет ошибки "child 5344 exited on signal 15 (SIGTERM) after 1290.834798 seconds from start"
С настройками игрался не особо помогает, плюс минус по размеру и времени и все равно отваливается.

В PHP.INI настройки по объему загружаемых файлов выставлены с запасом на 16 GB.

В NGINX настройки
sendfile on;
keepalive_timeout 30;
keepalive_requests 100;
tcp_nopush on;
tcp_nodelay on;
server_tokens off;
directio 10m;
reset_timedout_connection on;

client_max_body_size 6G;
client_body_buffer_size 128m;

open_file_cache max=200000 inactive=20s;
open_file_cache_valid 30s;
open_file_cache_min_uses 2;
open_file_cache_errors on;

Пробывал создать tmp в оперативной памяти (tmpfs) ситуация в корне меняется и файлы полностью заливаются на сервер, но очень долго!

Что происходит с файлом после его загрузки в папку /tmp, почему висит php-fpm, как отловить и решить эту проблему?

Если не предоставил каких то данных просто напишите и я выложу то что требуется.
Забыл добавить, еще идет подсчет sha1 хеша файла, хотя опцию отключал ситуация не поменялась.

Comments

[Дмитрий]

Это старая беда. Вроде как можно пересобрать пых с флагом нужным, может 64 бит версии уже умеют. Последний раз я это гуглил во времена 5.3

[criminalist]

Дмитрий, проблема в чём именно? Долгой загрузке или обрыве?

[Дмитрий]

criminalist, в размере файла. Попробую найти ту информацию

[Дмитрий]

criminalist, битность пыхи 64?

[criminalist]

Дмитрий, система amd64
php -v
PHP 7.1.26 (cli) (built: Feb 5 2019 21:00:51) ( ZTS )
uname -a
FreeBSD 12.0-RELEASE r343965 CRIMINALIST amd64

Должен быть 64 битный, каюсь даже не в курсе как посмотреть))

[Дмитрий]

criminalist, что выводит
echo PHP_INT_MAX;

[criminalist]

Дмитрий, погодите, ну при монтировании временной папки tmp в оперативной памяти (tpmfs) файл загружается полностью, только очень долго.

[criminalist]

Дмитрий, 9223372036854775807

[Дмитрий]

criminalist, значит 64. Тогда крутите лимиты таймауты

Answer 1

[Антон Иванов]

А вы что в один поток файл загружаете? Используйте загрузку файла частями. Как пример (но не панацея) - https://blueimp.github.io/jQuery-File-Upload/.

Comments

[criminalist]

Дело в том что для загрузки используется готовое решение, некий модуль, поэтому переписывать не очень что то хочется, железо свое оперативки 74 gb, пока пытаюсь решить именно настройками железа.

Answer 2

[rPman]

2гб - выглядит так будто попали в лимит 32-битной адресации (т.е. размер файла в signed int), в php целые числа при превышении 2^31 преобразуются в double, со всеми вытекающими от сюда глюками.

попробуйте 64-битную реализацию на тестовом железе, если я прав.

Comments

[criminalist]

Я ведь написал что если создать временную папку TPMFS то файл загружается хоть 4GB, но по времени занимает порядка 25 минут, и в основном это внутренний процесс (мне не понятно какой именно), сам файл на сервер залетает быстро, не больше минуты, далее начинает просто висеть и не понятно что делать.

[rPman]

вот именно, файл заливает внутренний процесс php у которого нет проблем с 32 int, а вот фреймворк, написанный на php который в дальнейшем обрабатывает файл, вполне может содержать эту ошибку использования

я предлагаю вам просто проверить мою теорию, подняв сервер в 64-битном тестовом окружении, это явно проще чем разбираться в исходниках

Answer 3

[Александр Кубинцев]

В nginx надо попробовать выключить буферизацию тела запроса
fastcgi_request_buffering off