Как сэкономить место если в каталогах есть одинаковые файлы?

Question

[vaniqq]

Всем привет, у меня стоит задача максимально сэкономить место на диске. В общем, есть 10 папок, в которых 80% содержимого идентично с тем, что в папках 1,2,3 и тд. Подскажите пожалуйста, как сделать так, чтобы был 1 файл на все эти 10 папок? В общем я хочу, чтобы все 10 папок весили как одна

Если не сложно, напишите пожалуйста небольшую инструкцию. Например мне нужно так сделать:

Есть папки 1,2,3 и в них в корне есть файл asd.bin как мне сделать так, чтобы этот asd.bin брался с папки 1 и был общим для всех остальных папок. Надеюсь я понятно изложил свой вопрос:)

Answer 1

[protven]

Если прямо очень много данных - копайте в сторону ФС с дедубликацией данных. Навскидку - ZFS.

Answer 2

[Александр]

чтобы брался из папки 1 он должен быть там. А в папки 2, 3 создаем симлинки на этот файл в папке 1.

ln -s 1/asd.bin 2/asd.bin
ln -s 1/asd.bin 3/asd.bin

Comments

[Александр]

Думаю если файлов очень много - нужно сделать программу которая находит все файлы во всех 10 папках, создает массив где имя файла ключ и значение - массив путей к нему. Потом проходим по полученному массиву и удаляем лишние файлы, создаем ссылки.

[younghacker]

Программу не нужно. Хватит скрипта.
Например:

[user001@localhost 00-test]$ tree
.
├── 1
│   ├── file-odinakovoe-imya.pdf
│   └── file-odno-imya.xml
└── 2
    ├── file-drugoe-imya.xml
    ├── file-obmanka.pdf
    └── file-odinakovoe-imya.pdf

2 directories, 5 files


[user001@localhost 00-test]$ ROOT=`pwd`; find "${ROOT}" -type f | xargs -I{} md5sum "{}" | sort
ed9a3dc393fa00f8d706c734367f8069  /home/user001/temp/00-test/1/file-odno-imya.xml
ed9a3dc393fa00f8d706c734367f8069  /home/user001/temp/00-test/2/file-drugoe-imya.xml
fccd39921d16d083525004b8da07adf9  /home/user001/temp/00-test/1/file-odinakovoe-imya.pdf
fccd39921d16d083525004b8da07adf9  /home/user001/temp/00-test/2/file-obmanka.pdf
fccd39921d16d083525004b8da07adf9  /home/user001/temp/00-test/2/file-odinakovoe-imya.pdf


[user001@localhost 00-test]$ ROOT=`pwd`; find "${ROOT}" -type f | xargs -I{} md5sum "{}" | sort | awk '{if($1==prevmd){printf("ln -sf \"%s\" \"%s\"\n",prevfn,$2)}else{prevmd=$1; prevfn=$2}}'
ln -sf "/home/user001/temp/00-test/1/file-odno-imya.xml" "/home/user001/temp/00-test/2/file-drugoe-imya.xml"
ln -sf "/home/user001/temp/00-test/1/file-odinakovoe-imya.pdf" "/home/user001/temp/00-test/2/file-obmanka.pdf"
ln -sf "/home/user001/temp/00-test/1/file-odinakovoe-imya.pdf" "/home/user001/temp/00-test/2/file-odinakovoe-imya.pdf"

Скрипт выловит дубликаты по их md5 и оставит первый найдённый как источник и на него сделает абсолютные симлинки.

Команда ничего не делает, а формирует вывод на экран который затем нужно перенаправить в файл и его сначала проверить и потом выполнить.

Answer 3

[abcd0x00]

Нужно сделать хранилище для всех файлов. А в папках хранить симлинки. Есть там и жёсткие ссылки - это когда на один файл ссылаются два имени или больше. С жёсткими ссылками система будет думать, что это файл, а не ссылка (иногда надо такое).

Answer 4

[Дмитрий Банник]

Почитай про OverlayFS