Linux как реализовать поиск и перенос файлов в автоматическую структуру каталогов?

Question

[Вячеслав Абрамов]

Суть в чем, есть более 8 миллионов файлов и папок.... но проблема в том что собраны они в одну папку и структура просто:

../img/
../img/1/file1.jpg
../img/2/file1.jpg
...
../img/12345/file1.doc
../img/12345/file1.jpg
../img/1234567/filerandomname1.jpg
../img/1234567/newfile18.xls

и как следствие после портирования на новый сервер столкнулись с кучей проблем, начиная с невозможности работать нормально с каталогом, заканчивая подвисанием и тп.

возникла мысль - разбить структуру в формат:

../img/1/2/3/4/5/6/7/filerandomname1.jpg

попробовали сделать через php, но скрипт просто висит и обрабатывает по 10к от силы в сутки.......возникла мысль использовать find и mv для ускорения

Есть ли варианты на базе командной строки, bash переделать img/folder/file.doc в img/f/o/l/d/e/r/file.doc

Comments

[Wexter]

Суть в чем, есть более 8 миллионов файлов и папок.... но проблема в том что собраны они в одну папку и структура просто:

ещё и наверное хранится на одном/двух дисках, притом не ssd?
удачи тогда разгрести чо. вы тупо упёрлись в лимит iops дисков

[Вячеслав Абрамов]

Wexter, да, верно, все на 2х дисках, и проблема лимита есть)))))
но судя по опыту что удалось нагуглить - решение будет как раз разбить на структуры. это решит вопрос.

[Wexter]

saltos, может и решит, только пока вы разбиваете всё-равно упираетесь в лимиты. либо клонировать посекторно на ссд и там структурировать, либо ждать пока оно на медленных дисках переберёт всё

[Вячеслав Абрамов]

Wexter, ждать.
либо кто-то подскажет решение на bash

[d'Ivan]

Есть ли варианты на базе командной строки, bash переделать img/folder/file.doc в img/f/o/l/d/e/r/file.doc

Можно. На shell чего только не делают.
Но решит ли это проблему с масштабированием?

Answer 1

[ComodoHacker]

А как будут называться новые каталоги, совсем не важно? Тогда зачем привязываться к старым именам, проще генерировать новые как 1,2,3 и т.д.

P.S. А новая структура не приведет к "невозможности работать нормально", из-за того, что файлы невозможно будет найти?

Comments

[Вячеслав Абрамов]

это было бы отличным решением - но имя папки - это id то есть просто цифры, от 1 до 8 500 000

а если переименовывать - это снова новые каталоги, и связывать эти каталоги как то нужно тоже, то есть это еще больший обьем данных.

Answer 2

[d'Ivan]

Попробуйте мигрировать на S3-совместимые сервисы. Если хотите управлять хостингом своими ресурсами, то возьмите MinIO.
При помощи утилиты mc (minio-client) можно скопировать всю структуру директорий как есть в свой облачный сервис или же в любые S3-совместимые сервисы.
Подключите кэширующий сервер и тогда нагрузка на хранилище спадет.

Comments

[Вячеслав Абрамов]

думаю это будет решением, если не сможем решить вопрос с каталогами