Почему файл заполнен?

Question

[vottakoinick]

Есть скрипт на php, сервер ngnix, он генерирует xml файлы, в нём вывод осуществляется через

ob_start();
код
$result = minify_html(ob_get_contents());
ob_end_clean();
fwrite($fp, $result);

Это просто коротко записал как вывод в файл осузествляется. Иногда в файле появляются места заполненные <0x00> или NULL смотря в каком редакторе открыть. В спонтанных местах, как будто обрыв какой то. Я не понимаю от чего такое может происходить, по моему с PHP это вообще не связано. Хостинг бегет, сервер выделенный ngnix. Вообще как будто битый файл какой то.

Не знаю какие подробности ещё указать. Код php по моему тут бессмысленно приводить целиком, там генератор страниц для яндекс турбо с сайта на CMS Wordpress. Ошибок в логах нет.


Дополнение:
заполнен нулями участок от операторов fwrite, первый из них такой fwrite($fp, '<item turbo="true">');то есть тут даже нет каких то переменных для ошибки, весь блок из этих fwrite заполнен нулями,

ещё дополнение:
Во время работы скрипта генерируется последовательно несколько файлов, каждый раз когда есть файл с нулями, происходит какой то сбой. Но вообще не понятно. Вот в этот раз блок с нулями был в 3 файле, а генерация остановилась на 4. А 3 файл полностью доконца был записан и блок с нулями по середине кода. Не могу это вместе как то всё связать.

Есть в логах upstream response is buffered to a temporary file
Но правда по времени с ошибкой в файле не связано.

Answer 1

[alexalexes]

Две гипотезы.
1. Ваш код генерирует "нулевой" результат, поэтому записывается null значение.
Попробуйте искусственно записать null значение в буфер, без реальных данных.
2. Код генерирует слишком большой результат, не влезает в оперативную память выполнения скрипта (переполнение возникает именно на выполнении minify_html). Как ошибка записывается null значение.
Попробуйте уменьшить значение выделенной оперативной памяти так, чтобы хватало для работы кода, но не хватало на выполнение minify_html, понаблюдайте через memory_get_usage, как на каждом этапе используется память.

Comments

[vottakoinick]

Это могло бы быть если бы вывод нулей был привязан к коду. Например вот конец участка нулей

То есть если бы была ошибка в вызове функции minify_html то весь участок этого вывода был бы заполнен нулями. Сейчас весь участок от minifi_html выводится в файле, а заполнен нулями участок от операторов fwrite, первый из них такой fwrite($fp, '<item turbo="true">'); то есть тут даже нет каких то переменных для ошибки, весь блок из этих fwrite заполнен нулями, а потом сам HTML блока минифицируется. Спасибо за попытку помочь.

[vottakoinick]

Есть в логах upstream response is buffered to a temporary file
Но правда по времени с ошибкой в файле не связано.

Answer 2

[VoidVolker]

Первое, что приходит в голову - это ошибка в длине записываемой строки где-то, т.к. ноль обычно используется как символ конца строки. Причины могут быть разные: массив с нулями, который не очень правильно конвертируется в строку, ошибка в кодировке и/или конвертации строки из одно/двух байтовой, какой-то пустой буфер, неправильный режим записи в файл - текст/бинарные данные, например. Надо делать подробный дамп каждой записи в файл и смотреть, где и что именно пишет не то, что ожидается.

Comments

[vottakoinick]

Есть в логах upstream response is buffered to a temporary file
Но правда по времени с ошибкой в файле не связано.

[vottakoinick]

Я там дополнил, блок с нулями начинается с простого fwrite и в нём даже операторов нет, просто текст пишется с началом блока

[VoidVolker]

Есть в логах upstream response is buffered to a temporary file

Закончилась память. Значит, вероятнее всего гипотеза (2) товарища alexalexes верна и тут проблема в закончившейся оперативной памяти. Смотрите логи нагрузки на память и либо оптимизируйте код либо поднимайте объем доступной памяти.

[Ivan Ustûžanin]

VoidVolker, это никаким образом не связано с переполнением памяти, у nginx есть фиксированные буферы для всего подряд, и если они переполняются, он пишет всё во временные файлы, о чём и сообщает в логах

[Ivan Ustûžanin]

vottakoinick, выглядит это всё очень странно, т.к. похоже и на кривую работу FS (sparse), и на конфликты при одновременной записи в несколько потоков
для второго можно попробовать открывать файл через режим c, с последующим flock() и ftruncate(), но такое поможет, если flock() есть везде где может происходить запись

[VoidVolker]

Ivan Ustûžanin,

у nginx есть фиксированные буферы для всего подряд

О как, не знал.

т.к. похоже и на кривую работу FS (sparse), и на конфликты при одновременной записи в несколько потоков

Кстати да, такое вполне может быть.

[vottakoinick]

попробовал flock() ftruncate() и режим "c". Надо проверять, она не часто, бывает может и раз в неделю, бывает и несколько.

[vottakoinick]

вроде бы перестало заполнятся нулями, но остался обрыв выполнения скрипта без ошибок иногда, но это наверное для другого вопроса.