При попытке чтения каталога ls /root процесс зависает, как починить?

Question

[nonvon]

Собственно в эту папку нагенерировалось 15 миллионов файлов по крону через wget

Я проблему устранил, папку почистил. но теперь при любой попытке чтения дериктории всё зависает. ssh работает. В логах ничего подозрительного. И да процесс зависший невозможно снять - он просто не убивается (( только ребут. А пока процесс не снимешь - сервер не реагирует на другие команды от рута. С правами на папку вроде всё в норме команда cd работает. Как починить? может файловая уже не торт? Никто не сталкивался?

И да - первое время всё было в норме.




смущает размер папки - он досих пор 600 мегов

Comments

[Дмитрий]

Может там ещё какие файлы скрытые остались, ну или чисткой чего лишнего прибили

[Ukrainskiy]

В папке есть еще что-то важное? Если нет, то предлагаю ее снести целиком и создать новую

[Олег Волков]

Можно опубликовать результат команды "mount" ?

[nonvon]

Олег Волков,

~]# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
devtmpfs on /dev type devtmpfs (rw,nosuid,size=16445136k,nr_inodes=4111284,mode=                                                                                        755)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relat                                                                                        ime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmod                                                                                        e=000)
tmpfs on /run type tmpfs (rw,nosuid,nodev,mode=755)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xa                                                                                        ttr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,de                                                                                        vices)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatim                                                                                        e,cpuacct,cpu)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,mem                                                                                        ory)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hu                                                                                        getlb)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blki                                                                                        o)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,fr                                                                                        eezer)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime                                                                                        ,perf_event)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpu                                                                                        set)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,re                                                                                        latime,net_prio,net_cls)
configfs on /sys/kernel/config type configfs (rw,relatime)
/dev/md127 on / type ext4 (rw,relatime,data=ordered)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=32,pgrp=1,time                                                                                        out=300,minproto=5,maxproto=5,direct)
mqueue on /dev/mqueue type mqueue (rw,relatime)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
/dev/md126 on /boot type ext4 (rw,relatime,data=ordered)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,size=3290964k,mode=700                                                                                        )

[nonvon]

Ukrainskiy, не даёт - я пробовал ((

[nonvon]

Дмитрий,

там вроде только ssh ключи были

[nonvon]

Дмитрий, первонначально всё работало. проблема где-то через неделю проявилась

[Ukrainskiy]

Можно попробовать проверить состояние фс командой e2fsck -fv /dev/md127

[Ukrainskiy]

nonvon, что проиcходит при rm -Rf /root ? скопировать папку с ключами получилось оттуда?

[pfg21]

nonvon, как вариант переименовать /root в другое имя и после создать /root заново.
смотри вывод системного лога - dmesg и подобное. если есть ошибки на уровне драйверов то они скинутся лог ядра или системы.

Answer 1

[nonvon]

В общем проблема решена



вот что было в папке.

получается что каким то образом запускался этот скрипт (установщик панели (() - возможно из-за неправильных прав на папку - на скринах в топике правильные )))

Всем огромное спасибо за то что пытались помочь - сам был в шоке от проблемы ((( то работает, то не работает

может кстати подскажите почему так было?

Comments

[shurshur]

В смысле? Запускался из cron? Или скрипт был написан криво и в цикле 15 миллионов раз что-то качал?

[pfg21]

что-то случилось/сделалось и все заработало :)
чего - непонятно и до следующих косяков не трогать.

[nonvon]

Я уже незнаю что и предположить. нет мне кажется из -за просмотра папки - хотя с чего бы это

я ничего не делал - я просто изменил права на папку как на скринах в топике. И блин стало заходить ))) изначально были права 777

Answer 2

[shurshur]

По умолчанию ls не только читает каталог, но и делает stat на каждый файл, чтобы цветом показать их тип и executable bit. Это очень замедляет процесс.

Обойти вызовом ls без параметров, заданных в alias ls:

$ alias ls
alias ls='ls --color=auto'
$ ls # вызывает алиас
$ 'ls' # вызывает обычный ls без параметров

Но лучше не выводить в консоль (особенно если сервер открыт по сети) - это будет очень долго - а перенаправить в файл и потом просмотреть.

'ls' /root > /tmp/list_of_files
less /tmp/list_of_files

Удалить файлы проще всего с помощью find:

find /root -name 'index.html.*' -delete

Comments

[nonvon]

я примерно так и делал - но очень долго.

в итоге получилось запустить в фоне миднайт командер, дождатся вывода листинга , выделил по маске файлы и затем он в фоне всё удалил

[shurshur]

nonvon, это ещё повезло, что справился за приемлемое время. Мне приходилось как-то иметь дело с очень нагруженным диском, где даже 1000 файлов могло выводиться минуту-другую, если не убрать --color, и с подмонтированным S3 с 4 миллионами файлов, где ls выполнялся несколько часов даже без подсветки.

Answer 3

[AVKor]

ls /root

Собственно в эту папку нагенерировалось 15 миллионов файлов по крону через wget

Никто не сталкивался?

Нет. root существует для администрирования системы, а не для того, чтобы в его каталог качать триллионы файлов.

Comments

[nonvon]

Дело было до меня. Испманагер запускает крон от рута - там wget и (небыло подавления вывода) он и нагенерил результатов в index.html.1 , index.html.2 и так далее

Answer 4

[Олег Волков]

Ext4 это хорошо, я опасался что там btrfs. А так всё пучком. "ls" подвисает потому что там всё еще миллионы файлов. Эта операция вызывает бешенный диск IO и использует много памяти (или, еще хуже, своп). Поэтому всё замирает в этом мире. Если посмитришь на размер "ls -lhd /root" самой директории - ужаснёшся. Лучщий способ ремонта тебе уже предложили - спасти всё нужное (обычно это .ssh , всё остальное - наживное) и снести всю директорию, потом создать её заново и вернуть спасённые файлы.

Answer 5

[Saboteur]

Я подозреваю, что структура файловой системы расширяет размер каталога, чтобы в него поместился список из 15 млн файлов, а вот уменьшать размер каталога уже не умеет.
То есть когда файлы были созданы, блоки были аллоцированы под "/root" и все, теперь ls будет вычитывать весь объем, несмотря на то, что в нем используется только несколько записей.

Я рекомендую создать новый каталог, перенести в него все видимое содержимое, и грохнуть старый, потом новый каталог переименовать в root

но похоже это уже сделали.