Почему PHP скрипт занял всё место на диске?

Question

[Sa7ha_S]

После запуска php скрипта, который парсил огромный текст исчезло свободное место на диске.
На скринах можно посмотреть. Видно, что место кудато исчезло.

Answer 1

[xmoonlight]

Классический stackoverflow.
Сдаётся мне, что "раздуло" своп из-за использования стандартных PHP-функций на нестандартных объёмах данных. Т.е. алгоритм не рассчитан на работу с входными данными такого объёма.
Ищите: где у Вас bottleneck-функция в коде алгоритма.

Comments

[Sa7ha_S]

Согласен по поводу переполнения стека, но как тогда освободить диск?

[xmoonlight]

Sa7ha_S: # swapoff -a && swapon -a

[Sa7ha_S]

xmoonlight: Так я только отключаю своп и включаю, но фишка в том, что у меня сейчас не своп забит, а сам логический диск с системой.

[xmoonlight]

Sa7ha_S: www.tecmint.com/clear-ram-memory-cache-buffer-and-...

[Sa7ha_S]

xmoonlight: Проделал ман, но проблема явно не в кеше или своп, так как своп щас пустой, а кеш занимает 1Гб, проблема более глобальная, с диска ушло примерно 30Гб

[xmoonlight]

Sa7ha_S: значит или скрипт насоздавал временных файлов или проблема ещё глобальнее - логи может какие там?

[Sa7ha_S]

xmoonlight: Я логов не создавал никаких, разве что сам интерпритатор php из за ошибок писал логи, но в таком случае было б заметно в какой папке огромный файл, а так то на скрине видно, что не ясно куда память подевалась, так как размер диска 92Гб, а если пощитать суму сколько занимают папки получается менше.

[xmoonlight]

Sa7ha_S: ну тут надо смотреть уже не пользователю linux'a, а именно сисадмину.

[Sa7ha_S]

ладно, и на том спасибо, так не охотно систему по новой ставить(

[xmoonlight]

Sa7ha_S: надо разбираться под "su -" что там... ну и базу админинга никсов подтянуть.

Answer 2

[Александр Аксентьев]

Своп на диске?
Напарсил в память/своп/временные файлы?

Comments

[Sa7ha_S]

Я следил за работой системы в system monitor (стандартная утилита в ubuntu) своп был забит на 1Гб из 7, а весь вывод должен был пойти на страничку браузера.

Answer 3

[SagePtr]

Может быть, скрипт насоздавал множество мелких файлов и закончились inode?

Comments

[Sa7ha_S]

Весь вывод должен был пойти на страничку браузера, в файлы ничего не выводил, не могу понять где скрипт сохранял промежуточную инфу, которая потом заняла весь диск, а закончилось выполнение скрипта перезагрузкой вебсервера, так как начались глюки.

[Данила]

Sa7ha_S: Все равно, стоит проверить наличие свободных инодов, а далее уже по обстоятельствам, поскольку: не создавал != не создавалось, ибо тот-же echo может отъедать анонимно иноду.
1) df -i

Так-же, стоит проверить открытые файлы.
2) sudo /usr/sbin/lsof

[Sa7ha_S]

Данила: df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
udev 1004575 606 1003969 1% /dev
tmpfs 1007337 668 1006669 1% /run
/dev/sda8 6053888 333817 5720071 6% /
none 1007337 2 1007335 1% /sys/fs/cgroup
none 1007337 7 1007330 1% /run/lock
none 1007337 67 1007270 1% /run/shm
none 1007337 25 1007312 1% /run/user
Вот что получил.

[Данила]

Sa7ha_S: с инодами все ок.
Попробуйте посмотреть во время и после работы скрипта lsof

Answer 4

[Владимир]

cd /home
du -hd1

находит в выхлопе самую большую директорию cd в неё снова du -hd1
и так пока не найдем последнюю куда всё насыпалось