@tvoyadres

Почему медленно удаляются файлы и с паузами на серверных SSD Samsung centos 6?

Имеются 2 диска
SM961 - 256 GB файловая система EXT4 3 года проработал
PM883 - 8TB файловая EXT4 абсолютно новый 10 дней проработал
Система Centos 6.10 лимиты файлов подняты до 65535
раньше я на эту проблему не обращал внимание, но вчера случайно заметил.

Копирование с 1 SSD SM951 NVME на 2 PM883 SATA папка MOD_TMP примерно 15 млн. файлов сессий все летает без тормозов, но когда я начинаю удалять папку не важно с какого диска начинается затык, несколько секунд быстро удаляется, потом пауза, потом снова быстро удаляться и снова пауза, и т.д при этом люди нормально сайтом пользоваться не могут, например хочу я залить файлы на сервер через сайт, жутко тормозит.

Мне кажется, что я в какие то настройки упираюсь при удалении файлов мелких файлов. Запись ведь и считывание пашет без проблем. Дисками все норм если что.
  • Вопрос задан
  • 224 просмотра
Пригласить эксперта
Ответы на вопрос 3
Oxyd
@Oxyd
Linux enthusiast
Вы упёрлись в ограничение rm Воспользуйтесь find.
find /path/to/folder -name "*" -type f -print | xargs /bin/rm -f

В этом случае find будет передавать на вход rm файлы по одному и затыки пропадут. Можете ещё попробовать к xargs ключ -P x где x -- количество одновременно удаляемых файлов. Поставьте по количеству ядер процессора, например. -P 0 автоматически будет запускать максимально возможное число процессов.
Ответ написан
@mayton2019
Ent. Software engineer.
Если часто удаляется папка с over миллиардом файлов то можно пересмотреть эту задачу архитектурно. Например смонтировать эту папку как volume и форматировать ее. Это быстрее. В противоположность, файловые удаления по 1 штуке требуют фиксации транзакции для каждого файла. А это избыточные действия которые как раз и создают поток IOPs над структурами данных ext4. По аналогии с БД. То что делает автор это удаление каждой строчки из таблицы с коммитом. А то что я предлагаю - это по смыслу truncate table.
Ответ написан
opium
@opium
Просто люблю качественно работать
Обычная проблема когда много файлов в одной папке, раскидайте по папкам или храните в каком нить мемкеше
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы