Как вылечить сервер, который считает, что все место на диске закончилось, так как df -h показывает 100% занятого места на /, но df -ih показывает 27%?

Question

[JustAleksei]

Ubuntu 16.04 LTS (GNU/Linux 4.4.0-53-generic x86_64)

lsof +L1 не показывает ничего.

Перезагрузка не помогает.
sudo touch /forcefsck и reboot не помогают.

df / -h

Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1       144G  138G     0 100% /

df / -hi

Filesystem     Inodes IUsed IFree IUse% Mounted on
/dev/vda1        9.2M  2.5M  6.8M   27% /

sudo du -hcs /

138G	/
138G	total

По факту, мне кажется, занято должно быть именно где-то 27%.

root@host:~# du -sh /*
paste.ofcode.org/6PLHCDjKBLt6WB7xBrxbcb

ncdu /
paste.ofcode.org/sfeWyMDWSpptu6YMQGsf8Q

Comments

[ckr]

Еще посмотрите файлы в самом корне системы

[ckr]

Бывало, ncdu показывает карту занятости, и вроде все свободно, а оказалось в корне был скрытый (начинался с точки) файл чьего-то лога, который переполнял винт

[JustAleksei]

ckr: Да, спасибо. Я все глаза почти поломал, но так ничего и не увидел

Answer 1

[JustAleksei]

Всем спасибо за помощь! Однако, я устал разбираться и (благо была такая возможность) решил скопировать все более менее важное, чтобы потом все снести и переустановить.

Comments

[younghacker]

А завтра это случится снова. Снова переустановка? :)
Одна из причин почему я не алоцирую 100% диска сразу - получить время для анализа.

Answer 2

[Виталий]

Потому что аноды это индексные дескрипторы, и место под них резервируется сразу. Видимо вы видите сколько места система под них использовала и сколько осталось. Гуглить перед вопросом....

Comments

[JustAleksei]

Вся система считает, что место на диске закончилось. Как это исправить?

[Arman]

JustAleksei: удалить что нибудь, можно начать с логов

[JustAleksei]

Arik: я не вижу, что можно удалить. ncdu говорит, что занято не так уж и много места

[Arman]

JustAleksei: du -sh /* от рута и дальше по папкам погулять

[Виталий]

JustAleksei: дескрипторы лишь описывают хранящиеся данные. Эти размеры между собой не связаны. Но вот 144/138/0 выглядит странно, но я бы тоже почистил место. Это логично.

[JustAleksei]

Arik: paste.ofcode.org/6PLHCDjKBLt6WB7xBrxbcb

[Arman]

JustAleksei: перегружать пробовали?

[JustAleksei]

Arik:
> Перезагрузка не помогает.
> sudo touch /forcefsck и reboot не помогают.

[Arman]

JustAleksei: система под виртуалкой? или что там за lxcfs?

[JustAleksei]

Arik: Не знаю. Это можно выяснить через bash команды?

[Алексей Жданов]

У меня похожая ситуация была, перемонтировал систему без выделения инодов. Теперь есть мысля как это можно использовать.

Answer 3

[ZloyHobbit]

Достаточно классический случай, процесс держит удаленный файл, место не очищается, но и файла уже нет.
Ищется так: lsof -nP | grep '(deleted)'
Лечится убиением процесса, или прочисткой proc файла.
Вот есть обсуждение на стаке.

Answer 4

[Fixid]

Покажите du -sh /var/*
Есть ощущение что место держит какой то удаленный файл. Попробуйте остановить и запустить (именно stop/start) nginx, apache и mysql.

Comments

[JustAleksei]

du -sh /var/*
paste.ofcode.org/38VgP9TKQ4EKgEpks6VxN9i

nginx, apache и mysql не установлены

[Fixid]

JustAleksei: и обязательно lsof | grep deleted

[JustAleksei]

lsof | grep deleted как и lsof +L1 не показывает ничего

[Fixid]

JustAleksei: надо подождать 5-10 минут

[Fixid]

JustAleksei: или пока само не вернет консоль

[JustAleksei]

Fixid: отработало моментально

Answer 5

[Erelecano Oioraen]

Для начала сделайте
sudo tune2fs -m0.1 /dev/vda1
И получите еще свободного места
Потом уже разбирайтесь.

Comments

[JustAleksei]

df / -h
Filesystem Size Used Avail Use% Mounted on
/dev/vda1 144G 138G 5.8G 97% /

5.8G это конечно хорошо, только что с того?

[Erelecano Oioraen]

JustAleksei: а теперь уже можно спокойно разбираться
du -h --max-depth=1 /
смотрите где больше всего
потом по той директории делаете аналогично

Просто с 5.8 гига вы уже хоть как-то жить сможете. А это была суровая админская магия с уменьшением зарезервированного места, которого ныне слишком много резервируют под неиспользование.

[JustAleksei]

Erelecano Oioraen:
du -sh /* от рута (не могу найти, что занимает место)
paste.ofcode.org/6PLHCDjKBLt6WB7xBrxbcb

[Erelecano Oioraen]

JustAleksei: вообще место может быть занятым, но вы можете не находить если файл уже был удален, но держится еще каким-то процессом.
sudo lsof |grep deleted
может показать такие файлы
Пока их держит процесс они занимают место, но таки вы их можете не найти.
Но таки это должно лечиться ребутом

du -sh это ужасно

Сделайте, как я сказал sudo du -h --max-depth=1 /, вам же легче будет смотреть на вывод этого дела.

[cru5ader]

В том то и дело что ребут должен был помочь, если процесс занимает место.
Сделайте лучше
cd /
du -sh * |grep G

Answer 6

[Владимир Олохтонов]

А вы проверку файловой системы запускали на этот раздел?

Comments

[mureevms]

Был у меня случай когда df показывало сильно большее значение, чем подсчет в mc. И проблема была именно в косяке файловой системы, которая постепенно сыпалась

Answer 7

[Максим Мосейчук]

Перед подсчётом занимаемого места прибиндите корень в пустую директорию, т.к. поверх корня смонтированы другие файловые системы, которые могут скрывать файлы в определённых директориях.

Сначала
mount -o bind / /any/non-system/folder

А потом уже анализируете /any/non-system/folder

Comments

[JustAleksei]

Вроде все тоже самое paste.ofcode.org/ZqDVcqXFseRDt6si8Wp5SB

[Максим Мосейчук]

JustAleksei: У вас случаем не btrfs?

[JustAleksei]

fshp:
file -sL /dev/vda1
/dev/vda1: Linux rev 1.0 ext4 filesystem data, UUID=c4c18c42-1db7-4adf-b8aa-6e11717c6cd3 (needs journal recovery) (extents) (large files) (huge files)

[JustAleksei]

blkid /dev/vda1
/dev/vda1: UUID="c4c18c42-1db7-4adf-b8aa-6e11717c6cd3" TYPE="ext4" PARTUUID="e884ba0e-01"

[Максим Мосейчук]

JustAleksei: "(needs journal recovery)" чет подозрительно.

Answer 8

[ijakparov]

Нашел решение этой проблемы с digitalocean.
есть скрытая папка логов pm2 её нужно удалить

rm -rf ~/.pm2/logs/*

Answer 9

[ckr]

Есть такая тулза ncdu
https://dev.yorhel.nl/ncdu

Это аналог baobab для работы без иксов.

Comments

[JustAleksei]

Вывод ncdu уже был приложен к исходному вопросу