Почему пропадает свободное место на VDS(docker)?

Question

[HexUserHex]

Вечер добрый,
Есть простой vds на котором работает мой docker-compose, один контейнер из которого съедает 95% всего свободного места на VDS. Контейнер я вычислил... Но дальше пока так и не смог найти корень проблемы.
Вывод любых команд предоставлю оперативно :)

root@vps293553:~# docker system df -v
Images space usage:
 
REPOSITORY                               TAG                 IMAGE ID            CREATED             SIZE                SHARED SIZE         UNIQUE SIZE         CONTAINERS
gitea/gitea                              latest              b2a668ed1fd0        3 days ago          149.5MB             5.573MB             143.9MB             1
jwilder/nginx-proxy                      latest              509ff2fb81dd        3 days ago          165MB               69.22MB             95.76MB             1
nextcloud                                latest              0fe69d55da2d        4 days ago          810.9MB             69.22MB             741.7MB             1
adminer                                  latest              a36eacf2923e        4 days ago          89.88MB             5.573MB             84.31MB             1
kylemanna/openvpn                        latest              dab8cc82cd7b        8 days ago          15.26MB             5.573MB             9.683MB             1
mysql                                    5.7                 1b12f2e9257b        11 days ago         448.5MB             69.22MB             379.3MB             1
jrcs/letsencrypt-nginx-proxy-companion   latest              684a50dcf80f        2 weeks ago         94.1MB              0B                  94.1MB              1
parser                                   latest              cac9a4d5705b        3 weeks ago         1.325GB             0B                  1.325GB             1
portainer/portainer-ce                   latest              a0a227bf03dd        2 months ago        195.5MB             274.7kB             195.3MB             1
portainer/portainer                      latest              62771b0b9b09        3 months ago        79.14MB             274.7kB             78.86MB             0
cs16ds/server                            latest              9d66f6388e56        2 years ago         1.061GB             0B                  1.061GB             1
 
Containers space usage:
CONTAINER ID        IMAGE                                    COMMAND                  LOCAL VOLUMES       SIZE                CREATED             STATUS                NAMES
57bac0444d47        gitea/gitea:latest                       "/usr/bin/entrypoint…"   1                   91.7MB              3 days ago          Up 3 days             gitea
7bdf862784fa        jwilder/nginx-proxy                      "/app/docker-entrypo…"   4                   51MB                3 days ago          Up 2 days             nginx-proxy
06d3d1dbb93c        portainer/portainer-ce:latest            "/portainer -H unix:…"   1                   0B                  3 days ago          Up 3 days             portainer
dc7eaca029bf        adminer:latest                           "entrypoint.sh docke…"   0                   24.9kB              4 days ago          Up 3 days             adminer
e1b4718c8d45        nextcloud:latest                         "/entrypoint.sh apac…"   1                   51.6MB              4 days ago          Up 2 days             nextcloud
6e144fccc214        mysql:5.7                                "docker-entrypoint.s…"   1                   4B                  4 days ago          Up 3 days (healthy)   mysql
827a9bc5cb38        kylemanna/openvpn                        "ovpn_run"               1                   375B                4 days ago          Up 3 days             openvpn
d2a32eca806e        jrcs/letsencrypt-nginx-proxy-companion   "/bin/bash /app/entr…"   3                   2.34kB              4 days ago          Up 3 days             nginx-proxy-letsencrypt
9c075ec9c5c8        parser:latest                            "/bin/sh -c /docker-…"   2                   13.4GB              9 days ago          Up 3 days             parser
7fe022eb9a7e        cs16ds/server:latest                     "/bin/hlds_run.sh"       0                   1.71MB              9 days ago          Up 3 days             cs
 
Local Volumes space usage:
VOLUME NAME                                                        LINKS               SIZE
docker-compose_parser_cronfiles                                    1                   0B
docker-compose_nextcloud                                           1                   484.8MB
docker-compose_openvpn                                             1                   43.16kB
docker-compose_mysql                                               1                   246.6MB
docker-compose_html                                                2                   1.106kB
2e71efedd2b7c696f8c66c467d797b78ac148f0396e157dd6d8482121d47f48c   1                   424B
docker-compose_portainer_data                                      1                   242.5kB
docker-compose_data_gitea                                          1                   3.711MB
docker-compose_vhost.d                                             2                   278B
docker-compose_certs                                               2                   66.13kB
9132b7b14717afa0d9d51a40ebe2892474ae100d289b95705911978dc2312c93   1                   33.33MB

2. нахожу контейнер который занимает больше всего места и захожу в него:
docker exec -it parser bash

3. и выполняю поиск больших файлов и директорий внутри самого контейнера
ps:так и не понял почему в find которая в контейнере в опции -size я не могу указать размер в мегабайтах 'M', в find которая не в контейнере опция 'M' работает на ура...

bash-5.0# find /  -size +100000k
/usr/lib/chromium/chrome                                                                                                                                                                                                                 
/usr/lib/firefox/libxul.so

В результате я так и не нашел не больших файлов/директорий итд..

На всякий случай вод вывод df -h внутри контейнера parser:

bash-5.0# df -h                                                                                                                                                                                                                          
Filesystem                Size      Used Available Use% Mounted on                                                                                                                                                                       
overlay                  19.7G     18.9G         0 100% /                                                                                                                                                                                
tmpfs                    64.0M         0     64.0M   0% /dev                                                                                                                                                                             
tmpfs                   974.8M         0    974.8M   0% /sys/fs/cgroup                                                                                                                                                                   
/dev/sda1                19.7G     18.9G         0 100% /cronfiles                                                                                                                                                                       
/dev/sda1                19.7G     18.9G         0 100% /etc/resolv.conf                                                                                                                                                                 
/dev/sda1                19.7G     18.9G         0 100% /etc/hostname
/dev/sda1                19.7G     18.9G         0 100% /etc/hosts
shm                      64.0M         0     64.0M   0% /dev/shm
/dev/sda1                19.7G     18.9G         0 100% /var/www/html
tmpfs                   974.8M         0    974.8M   0% /proc/acpi
tmpfs                    64.0M         0     64.0M   0% /proc/kcore
tmpfs                    64.0M         0     64.0M   0% /proc/keys
tmpfs                    64.0M         0     64.0M   0% /proc/timer_list
tmpfs                    64.0M         0     64.0M   0% /proc/sched_debug
tmpfs                   974.8M         0    974.8M   0% /sys/firmware

Comments

[сергей кузьмин]

prune делали ?

docker container prune
docker image prune

[HexUserHex]

сергей кузьмин, да, это практически первое что я сделал.

root@vps:~# docker container prune
WARNING! This will remove all stopped containers.
Are you sure you want to continue? [y/N] y
Total reclaimed space: 0B
root@vps:~# docker image prune
WARNING! This will remove all dangling images.
Are you sure you want to continue? [y/N] y
Total reclaimed space: 0B
root@vps:~#

Answer 1

[0nkery]

Попробуйте

du -hs /var/lib/docker/*

Увидите список папок с местом, которые они занимают. Далее в самую толстую заходите, например, containers и вводите другую команду:

du -hs /var/lib/docker/containers/*

И так далее до победы.

Comments

[0nkery]

sudo по необходимости.

[HexUserHex]

root@vps293553:~/docker-compose# du -hs /var/lib/docker/*
20K     /var/lib/docker/builder
72K     /var/lib/docker/buildkit
2.5M    /var/lib/docker/containers
9.9M    /var/lib/docker/image
108K    /var/lib/docker/network
33G     /var/lib/docker/overlay2
20K     /var/lib/docker/plugins
4.0K    /var/lib/docker/runtimes
4.0K    /var/lib/docker/swarm
4.0K    /var/lib/docker/tmp
4.0K    /var/lib/docker/trust
788M    /var/lib/docker/volumes

далее du -hs /var/lib/docker/overlay2/*

25G     /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8                                                                                                                                           
72K    /var/lib/docker/overlay2/39d287c79a2869d3828416426df83ad167da5da1001afcd09cddd942584b9a81                                                                                                                                          
7.4M    /var/lib/docker/overlay2/3ac2a9fbb78d3bd3cf1af3816832d4ddc689f65e355c96bd16bfa6a1aacbf6c8                                                                                                                                          
48K     /var/lib/docker/overlay2/3c163d3ba9cd225634cbb6e45007ef08cf1c128c5ac8514dc7cb3459b9c145de                                                                                                                                          
132M    /var/lib/docker/overlay2/3dec3284f0d67260fd936c6cafb056dbc437d26708d07bb31677aa65484522aa                                                                                                                                          
28K     /var/lib/docker/overlay2/3e127291da4c6eaefe35ab804fe355a8fe0310d57014fd2e0df3810eb9bca135                                                                                                                                                                                                                                                                              
2.4M    /var/lib/docker/overlay2/41961e23410e6ca39b64ea3b010af133a5bd1283758e24e955d7cab104fa2619                                                                                                                                          
32K     /var/lib/docker/overlay2/4430c088013ff53ea0e7bab365e1fdddffc5a5e6c0361ef0d6bb7bd5cf8bbc66                                                                                                                                          
76M     /var/lib/docker/overlay2/44bb9ab2ccc1eb86dede93a832aa9a977bf76cc2e6abbb4076dd434aaf5b3cbc                                                                                                                                          
44K     /var/lib/docker/overlay2/4548a0ba91ef9ac8dfea07eb3ae7fc319328e01a6cf6ac6d10f889335cac9aeb                                                                                            
312K    /var/lib/docker/overlay2/48c0a3b0978bedf9096cfda306c7b38b99ab401029985d8c55e94b393877cb0e                                                                                                                                          
28K     /var/lib/docker/overlay2/4968a20f884b0ff3adcd5208ea3efd6a6ca5083c64b6025b9cc4c4a43a195ec8                                                                                                                                          
7.2M    /var/lib/docker/overlay2/498a28a6e7b4f49445e4f45abcb184e0409c9880eebc1b5ad45de35dd8a4a442                                                                                                                                          
7.0M    /var/lib/docker/overlay2/49a3663dd3ebdc774060c727d6247916a0ab82461517572a61c43bb584c0cf7a                                                                                                                                          
187M    /var/lib/docker/overlay2/49b5c8ff0f07016e921211aa6079ae3e533100a2b4552ac4a662d814aa6c55f4                                                                                                                                          
32K     /var/lib/docker/overlay2/4b098f55a07ef43bf58a0008966ad8c7a904faa17172e897688836350b69d806                                                                                                                                          
20K     /var/lib/docker/overlay2/4c06972cbeed1f95747003e0d63b5d479da0b6fd8c5d5b759ff6aa3d60fcb16a                                                                                                                                          
384K    /var/lib/docker/overlay2/4e6b90b8e66fd804f1e4a11c092ff5bc20402374a33643b0646c318722d0331c
106M    /var/lib/docker/overlay2/513ab2fc88e86759e94c1f0453db4aac23ac5593771ce571cd45d322939eed59
40K     /var/lib/docker/overlay2/513ab2fc88e86759e94c1f0453db4aac23ac5593771ce571cd45d322939eed59-init
89M     /var/lib/docker/overlay2/51be3684581d1311caae0159fa1896e7a6c54e8d92c0a636cc4058e27521517b
40K     /var/lib/docker/overlay2/51be3684581d1311caae0159fa1896e7a6c54e8d92c0a636cc4058e27521517b-init
12M     /var/lib/docker/overlay2/54dc74945589471d9e20b5a7ab6b93df9e2d02a945ac996ef32425cd129fa7c3
60M     /var/lib/docker/overlay2/55d88604784261bbb9bf36c4a163e017bd57cf47faaac772869959582a058483
36K     /var/lib/docker/overlay2/5701e91180dac3369fdf1a56d6b21fb09838bf04fa0045671879a4d3122dc65c
1.4M    /var/lib/docker/overlay2/58486ca59c8147aba46f5803c6553b0d3726eea1f4d085232f0ce4de48783036
60K     /var/lib/docker/overlay2/5880328e06471dc3927e26dcbde16948a4f49464cc988b07a47aa84e7942974f
132K    /var/lib/docker/overlay2/599f200ee1835544b98ea4583d9b97b5f00fc776a27915fd3f1aa08c4c66f5df
643M    /var/lib/docker/overlay2/59e8b49c9084813fa66580bca45f7a9faf30f95d2577f3644cd1f179824b9260
716M    /var/lib/docker/overlay2/5a6daf018169c89f86f14f195d6ec9845f399a7cd0240f273062258bfac4420d
4.2M    /var/lib/docker/overlay2/5aa15b3dbb67304bebc38ebf45e7c6d9fc520668e62b0ae5c101a349082c1430
40K     /var/lib/docker/overlay2/5b027ef48d8494ccd6eef7e2fe9c13ae6706d7e6629eb4d9e00134dc4d0bb982
9.7M    /var/lib/docker/overlay2/5c498ec24d5c8c9c168e81040aff303abc9968ba5a5eb069603f8a573cb1fbe6
56K     /var/lib/docker/overlay2/5c5124d4bab278a61bc51bee8b4434e3ac9e0d8af81ca49f9e90b7206840973d
187M    /var/lib/docker/overlay2/5d003c3bdcb8a15076420af706abd82aae93530e2db91afc4697b0b82935428a
48K     /var/lib/docker/overlay2/5d003c3bdcb8a15076420af706abd82aae93530e2db91afc4697b0b82935428a-init
48K     /var/lib/docker/overlay2/5dd124cc7172e87be63ac7b713ff7ff3d8d81de4e6357f39ebb8f956882d3084
54M     /var/lib/docker/overlay2/610e1756acdfa7f435ee6487fd73377a8c41d13dc52d101632f038d56f4a2af3
56K     /var/lib/docker/overlay2/63f5b7e3b6723a46e6f1cb8cbd95fc42713bb569feab83653579b606408756fc
28K     /var/lib/docker/overlay2/6b96078c22b2fb295cdcb9c41b2a222d217d791b7fdf0200039e7035e83b5636
32K     /var/lib/docker/overlay2/6bdda2b443ef34997bcf1d78aaeaf4554f59f79ecef1ba81718ffd0769f8a025
16M     /var/lib/docker/overlay2/70a2513e822e17526ab7786f0eeda2760f3066daa4c8daed89a717f4367cf63b
40K     /var/lib/docker/overlay2/70a2513e822e17526ab7786f0eeda2760f3066daa4c8daed89a717f4367cf63b-init
32K     /var/lib/docker/overlay2/71dbe62abceacf930adaca3597fbd8cd8dd1130c0ec38e352951f4f6d4d77d6b
24K     /var/lib/docker/overlay2/7d7abd006918463b091439a3a05ce8c8a98c8d92df858ea79f82cc80d5f67a8b
7.0M    /var/lib/docker/overlay2/7e6ea8aaf64ba6a72a76b558a6380eebbdff49829ea638fbef0be7ded7683434
136M    /var/lib/docker/overlay2/7f1e8551850a0bcd91f7ad089ea7855952629b4a711b4267b9e3c1f9f657adb1
1.1G    /var/lib/docker/overlay2/86d3899327d965a175ed85479b4a6852be4b62fe030fd270c4c414a595870aae

Нахожу самую большую папку и иду в:
/var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8

root@vps293553:/var/lib/docker/overlay2# du -hs /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/*
12G     /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/diff
4.0K    /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/link
4.0K    /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/lower
13G     /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/merged
8.0K    /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/work

Далее нахожу в выводе:

du -hs /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/diff/*
вот этот большой каталог:
12G     /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/diff/tmp

а в выводе:

du -hs /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/merged/*

вот этот:
12G     /var/lib/docker/overlay2/372b09cc1d8b8222bfaf892a72f557d05372ec873344b918a768b50f1805eab8/merged/tmp

такое чувство что папка в tmp в контейнере по какой то причине забивается...

Проверяю теорию и вижу кучу всяких скрытых файлов... которые создаются Selenium-ом или его драйверами....

[HexUserHex]

После удаления:

root@vps293553:/var/lib/docker/overlay2# du -hs /var/lib/docker/*
20K     /var/lib/docker/builder
72K     /var/lib/docker/buildkit
2.6M    /var/lib/docker/containers
9.9M    /var/lib/docker/image
108K    /var/lib/docker/network
8.8G    /var/lib/docker/overlay2
20K     /var/lib/docker/plugins
4.0K    /var/lib/docker/runtimes
4.0K    /var/lib/docker/swarm
4.0K    /var/lib/docker/tmp
4.0K    /var/lib/docker/trust
788M    /var/lib/docker/volumes

Сейчас буду тестировать ничего я не сломал такой очисткой...

Совпаденение или нет но у меня в portainer-e по какой то причине теперь не прогружаются маленькие картинки. Хотя это совершенно другой контейнер.