Какие есть способы хранения частей нескольких файлов в одном общем?

Question

[HamsterGamer]

Всем привет, решал задачу о нахождения наибольшего общего подмассива среди N массивов и подумал, а можно ли таким образом хранить общие данные файлов. Что если взять из файлов одинаковые подмассивы бит (допустим по 10 бит, 100, 1000, 10000 и тп.) и вырезать их из оригиналов, создать какую-нибудь маску/таблицу/хэш-функцию для каждого из файлов и по ним восстанавливать любой оригинал. Понятное дело что это не сжатие, но это может быть способом хранения кучи данных в виде одного кусочка.
Так вот, хотелось бы ознакомиться с алгоритмам или какими-то схожими идеями, статьями и прочем. Прошу подсказать их! Заранее благодарю!

Comments

[twobomb]

Как это не сжатие, а что это? Если не нужно сжатие просто пиши файлы друг за другом, а в начале информацию о каждом файле, оффсет и длинна. Типа пакет получится
размер заголовка - заголовок - файл1 - файл 2- файл3...

[Everything_is_not_so_bad]

https://github.com/Roman2K/scat

Answer 1

[Adamos]

Термин для гугления: дедупликация.

Answer 2

[AndromedaStar]

Поздравляю, вы изобрели архиватор!

Answer 3

[Дмитрий Шицков]

Практически в точности описана работа tar. Подробнее о нем можно прочитать тут
www.mkssoftware.com/docs/man4/tar.4.asp

Answer 4

[Пума Тайланд]

Вы открыли файловую систему