Почему медленно удаляются файлы и с паузами на серверных SSD Samsung centos 6?

Question

[tvoyadres]

Имеются 2 диска
SM961 - 256 GB файловая система EXT4 3 года проработал
PM883 - 8TB файловая EXT4 абсолютно новый 10 дней проработал
Система Centos 6.10 лимиты файлов подняты до 65535
раньше я на эту проблему не обращал внимание, но вчера случайно заметил.

Копирование с 1 SSD SM951 NVME на 2 PM883 SATA папка MOD_TMP примерно 15 млн. файлов сессий все летает без тормозов, но когда я начинаю удалять папку не важно с какого диска начинается затык, несколько секунд быстро удаляется, потом пауза, потом снова быстро удаляться и снова пауза, и т.д при этом люди нормально сайтом пользоваться не могут, например хочу я залить файлы на сервер через сайт, жутко тормозит.

Мне кажется, что я в какие то настройки упираюсь при удалении файлов мелких файлов. Запись ведь и считывание пашет без проблем. Дисками все норм если что.

Comments

[Wexter]

диски в рейде? какой контроллер? кеш дисков включен? кеш контроллера включен?

[tvoyadres]

Wexter, Да нету там никого рейда, все на прямую подключено

[Wexter]

tvoyadres,

iostat -x -m 1

во время затупов что показывает?

[tvoyadres]

по 0 все яж говрю все встает раком wdfiles.ru/nehF

[Виктор Таран]

iotop -oka

[tvoyadres]

Виктор Таран, к сожалению bash: iotop: команда не найдена

[Виктор Таран]

tvoyadres, очень смешно, поставьте

[tvoyadres]

Поставил
1 ссылка до запуска удаления

wdfiles.ru/j29n

2 ссылка после запуска удаления
wdfiles.ru/j29o

Answer 1

[Vadim Priluzkiy]

Вы упёрлись в ограничение rm Воспользуйтесь find.

find /path/to/folder -name "*" -type f -print | xargs /bin/rm -f

В этом случае find будет передавать на вход rm файлы по одному и затыки пропадут. Можете ещё попробовать к xargs ключ -P x где x -- количество одновременно удаляемых файлов. Поставьте по количеству ядер процессора, например. -P 0 автоматически будет запускать максимально возможное число процессов.

Comments

[tvoyadres]

а что делает данная команда?

[Vadim Priluzkiy]

tvoyadres, find ищет все файлы("*") и печатает их.
| отправляет имена файлов на вход xargs, который по одному передаёт их на вход rm. В вашем случае, раз у вас так много файлов, используйте -P Вот так:

find /path/to/folder -name "*" -type f -print | xargs -P 0 /bin/rm -f

[ky0]

Как-то сталкивался примерно с тем же, и rsync показал более лучшие результаты, чем find/find+rm:

mkdir empty_dir
rsync -a --delete empty_dir/    yourdirectory/

Прочитал об этом варианте вот тут - https://unix.stackexchange.com/questions/37329/eff...

[Vadim Priluzkiy]

ky0, Да, такой вариант тоже имеет место быть, просто rsync менее стандартное средство чем утилиты findutils/coreutils и не всегда и везде есть.

[neol]

Vadim Priluzkiy, мне кажется вы втираете какую-то дичь… Можно ссылку на это мистическое "ограничение rm"?

[Vadim Priluzkiy]

neol, Опыт. Возьмите, создайте несколько миллионов файлов в одной папке и попробуйте поудалять, разными способами. Ради интереса можете понаблюдать нутрянку процессов через strace, откроете для себя много нового.

[neol]

Vadim Priluzkiy, у меня устойчивое ощущение, что вы путаете
rm -rf /dir/
и
rm -rf /dir/*
во втором варианте действительно будут проблемы, которые может решить find, но они проявятся в виде ошибки "Too Many Arguments" и причина её появления не имеет отношения к самому rm.

Answer 2

[mayton2019]

Если часто удаляется папка с over миллиардом файлов то можно пересмотреть эту задачу архитектурно. Например смонтировать эту папку как volume и форматировать ее. Это быстрее. В противоположность, файловые удаления по 1 штуке требуют фиксации транзакции для каждого файла. А это избыточные действия которые как раз и создают поток IOPs над структурами данных ext4. По аналогии с БД. То что делает автор это удаление каждой строчки из таблицы с коммитом. А то что я предлагаю - это по смыслу truncate table.

Comments

[Алексей Харченко]

Примерно по той же причине многие сервисы хранения файлов, например, яндекс.диск, никогда не удаляют файлы. Совсем. Они лишь помечают в своей БД, что их нет. На хабре была статья про всё это, и способы удаления кучи файлов, и прочее.

Answer 3

[zersh]

Скорее всего связано с тем как много у вас файлов, насколько заполненны диски и как удаляются данные ssd.
в отличии от hdd, ssd - нужно выполнить гораздо больше манипуляций.
описание: https://recovery-software.ru/blog/how-ssd-drives-p...

для удаления попробуй запускать с более низким приоритетом

ionice -c2 -n7 КОМАНДА

а ещё можно по крону, в момент наименьшей нагрузки сервера, например ночью
на определённое время. примерно так, совместив совет, что приводили ранее:

0 02 * * * /usr/bin/timeout 18000 /usr/bin/flock -n /tmp/remove_files.lock -c "ionice -c2 -n7 find /path/to/folder -name "*" -type f -print | xargs -P 0 /bin/rm -f"

процесс удаления будет запускаться каждую ночь с 2ч и до 7 утра. (/usr/bin/timeout 18000 = 5ч)

Answer 4

[Пума Тайланд]

Обычная проблема когда много файлов в одной папке, раскидайте по папкам или храните в каком нить мемкеше

Comments

[tvoyadres]

Да как же я 15 млн буду держать в мемкеше, он же вытесняется

[Пума Тайланд]

tvoyadres, ну большой мемкеш или редис

Answer 5

[tvoyadres]

Всем спасибо за участите, в общем думаю какая то проблема с одновременным чтением и удалением файлов, я затушил вебсервер, спокойно смог удалить через VC всю папку, за несколько минут, без почти без задержек объем папки был 37GB файлов сессий и временных файлов. Скорее всего диск Samsung SM951 не вытягивал одновременно чтение и удаление 15 млн. файлов.