Куда уходят гигабайты в файловой системе VPS?

Question

[thatguy1]

Имеется AWS VPS на Debian.

df -h говорит, что якобы имеем ещё 3.3 гигабайта, но по факту на диск уже некуда писать.

Filesystem      Size  Used Avail Use% Mounted on
udev            487M     0  487M   0% /dev
tmpfs           100M   13M   87M  13% /run
/dev/xvda1      7.9G  4.2G  3.3G  57% /
tmpfs           498M     0  498M   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           498M     0  498M   0% /sys/fs/cgroup
tmpfs           100M     0  100M   0% /run/user/1000

df -i

Filesystem     Inodes  IUsed  IFree IUse% Mounted on
udev           124560    274 124286    1% /dev
tmpfs          127306    883 126423    1% /run
/dev/xvda1     524288 186145 338143   36% /
tmpfs          127306      1 127305    1% /dev/shm
tmpfs          127306      3 127303    1% /run/lock
tmpfs          127306     15 127291    1% /sys/fs/cgroup
tmpfs          127306     10 127296    1% /run/user/1000

Делитед файлы вроде как нулевые lsof +L1:

COMMAND     PID     USER   FD   TYPE DEVICE SIZE/OFF NLINK   NODE NAME
mysqld     1532    mysql    7u   REG  202,1        0     0 291403 /tmp/ibShayyu (deleted)
mysqld     1532    mysql    8u   REG  202,1        0     0 291404 /tmp/ib5KTqDP (deleted)
mysqld     1532    mysql    9u   REG  202,1        0     0 291405 /tmp/ib9gNjIa (deleted)
mysqld     1532    mysql   10u   REG  202,1        0     0 291406 /tmp/ibqte9UQ (deleted)
mysqld     1532    mysql   14u   REG  202,1        0     0 291407 /tmp/ibg2733b (deleted)
php-fpm7.  7525 www-data    3u   REG  202,1        0     0 280015 /tmp/.ZendSem.TquN32 (deleted)
php-fpm7. 13915    admin    3u   REG  202,1        0     0 280015 /tmp/.ZendSem.TquN32 (deleted)
php-fpm7. 13918    admin    3u   REG  202,1        0     0 280015 /tmp/.ZendSem.TquN32 (deleted)
php-fpm7. 14295    admin    3u   REG  202,1        0     0 280015 /tmp/.ZendSem.TquN32 (deleted)
php-fpm7. 22167     root    3u   REG  202,1        0     0 280015 /tmp/.ZendSem.TquN32 (deleted)
php-fpm7. 22171 www-data    3u   REG  202,1        0     0 280015 /tmp/.ZendSem.TquN32 (deleted)
php-fpm7. 22172 www-data    3u   REG  202,1        0     0 280015 /tmp/.ZendSem.TquN32 (deleted)

Вопрос: как отжать те 3 гигабайта? Где они? Что ещё проверить?

Comments

[pfg21]

файловая система / ?? всякие CoW, версионирование могут скрыто пожрать пару гб.
поставить на сервер ncdu и запустить ncdu -x /

[thatguy1]

pfg21, ФС ext4.
Показания ncdu НЕ расходятся с df -h. Занято те же 4.2GB.

1.7 GiB [##########] /usr
    1.2 GiB [######    ] /home
  969.8 MiB [#####     ] /var
  226.8 MiB [#         ] /lib
   33.2 MiB [          ] /boot
    7.3 MiB [          ] /bin
    7.3 MiB [          ] /root
    7.0 MiB [          ] /etc
    6.3 MiB [          ] /sbin
  324.0 KiB [          ] /tmp
e  16.0 KiB [          ] /lost+found
    4.0 KiB [          ] /lib64
e   4.0 KiB [          ] /srv
e   4.0 KiB [          ] /opt
e   4.0 KiB [          ] /mnt
e   4.0 KiB [          ] /media
@   0.0   B [          ]  initrd.img.old
@   0.0   B [          ]  initrd.img
@   0.0   B [          ]  vmlinuz.old
@   0.0   B [          ]  vmlinuz
@   0.0   B [          ]  backup
>   0.0   B [          ] /sys
>   0.0   B [          ] /run
>   0.0   B [          ] /proc
>   0.0   B [          ] /dev

[hint000]

На хабре была одна страшная и поучительная история как раз про MySQL и непонятно куда утекающее дисковое пространство: https://habr.com/ru/company/itsumma/blog/341194/ цитата:

когда xtrabackup работает (по сути, это такой дампер MySQL), он создает временный лог, и довольно хитро – он создает его как файл, который открывает на чтение и запись, и немедленно удаляет. На диске этот файл найти нельзя, но он растет и растет.

[thatguy1]

hint000, любопытная история, но не тот кейс.

Answer 1

[Руслан Федосеев]

df -i
что скажет?

Comments

[thatguy1]

Добавил вывод в вопрос.

Answer 2

[Vitaly Karasik]

- а как вы пробовали писать и какую ошибку получили?
- есть что-то интересное в сист. логе?
- проверьте открытые файлы mysqld - возможно проблема с logroration

Comments

[thatguy1]

- Ошибку даёт python сценарий при попытке писать в файл 'No space left on device'.
- Нет
- Здесь не совсем понятно, что именно проверить

Возможно проблема в том(надеюсь), что в AWS был ещё один инстанс(хоть и стоппнутый) и к нему примонтирован ещё один Volume, соответственно. Возможно 8 гигов между ними шарятся. Я его terminated. Будем посмотреть что дальше.

[Vitaly Karasik]

Ошибку даёт python сценарий при попытке писать в файл 'No space left on device'.

попробуйте что-то вроде

dd if=/dev/zero of=/tmp/testfile_100mb bs=1024 count=102400

Возможно 8 гигов между ними шарятся.

нет, в EBS такого нет

[thatguy1]

Vitaly Karasik, Записался нормально. И даже 500мб записал. Всё же что-то мне подсказывает, что дело было в том инстансе.

[Vitaly Karasik]

thatguy1,
и Python работает?

[thatguy1]

Vitaly Karasik, Да. Но я удалил файл его лога, хоть и небольшой. Через мегабайт 10 можно будет точно сказать работает ли :)

Answer 3

[Karpion]

Откуда следует "на диск уже некуда писать"?

В принципе, многие файловые системы резервируют место, которое может использовать только root. Но оно при вычислении свободного места не учитывается - т.е. пишется "100% занято", хотя по мегабайтам место ещё есть. И "57%" - что-то маловато, оно обычно не менее 80%.

А Вы в какое место пишете? Путь к файлу?

Может, квоты на юзера выставлены?

Comments

[thatguy1]

Питон скрипт получает ошибку при попытке ведения своего лога. С путём, квотами юзера проблем нет. Но проблема вроде уже решена.

Answer 4

[alex1478]

Похоже у вас есть какой-то удалённый файл(файлы), которые не смотря на удаление всё ещё открыты каким-то процессом.

Comments

[Karpion]

А разве занятое ими место видится как свободное?

[alex1478]

Karpion, ну файл то помечен как удалённый

[Karpion]

alex1478, Где он так помечен?
(Я как бы намекаю, что таких мест много.)

Answer 5

[Roman Sokolov]

Гугли tune2fs reserved blocks
Но по дефолту 5% резервируется.

Comments

[thatguy1]

3гб из 8ми - это не 5%. Здесь проблема определенно другого характера.

[Karpion]

Вроде, процент свободного места в "df" отсчитывается не от полного размера, а от не-резервированного места.

[Roman Sokolov]

Karpion, от полного. Сталкивался уже с этим. 95% used и всё, свободно 0.

[Karpion]

Roman Sokolov, А я видел наоборот: "занято 100%, свободно два гигабайта". FreeBSD.