Лучший способ чекать наличие файлов из одних архивов в других?

Question

[yarovikov]

Привет всем.
Имеется сайт, где есть куча постов с архивами, внутри которых файлы.
Задача: определять при загрузке нового архива, используется ли что-то из таких вложенных файлов уже где-то на сайте и создавать связи между постами.

Первым шагом я планирую пройтись очередями по всем постам, распарсить файлы и записать данные в виде

id int(11) NOT NULL AUTO_INCREMENT,
parent_file_id int(11) NULL,
post_id int(11) NULL,
user_id int(11) NULL,
file_name TINYTEXT NULL,
mime_type TINYTEXT NULL,
md5 VARCHAR 255

Вторым шагом сделать связи что-то типа

internal_file_id к id 
related_parent_file_id к parent_file_id

Потом при загрузке файла искать по md5 в первой таблице и создавать связи во второй.

Подскажите, норм ли это способ, или есть что-то оптимальнее?

Comments

[mayton2019]

Непонятно чем ты занят. По виду - очень авантюрно с сомнительной пользой на выходе.

Вообще при дизайне любой веб-системы с хранилищем полезно сразу заводить поле md5 в аттачментах. Это поможет и при поиске дублей и при генерации eTag.

[yarovikov]

mayton2019, еще раз: история про файлы внутри аттачмента

Answer 1

[pantsarny]

Помимо хеша файла храни и его размер, так как можно получить коллизии на больших файлах. Сравнивай и размер и хеш

Comments

[yarovikov]

я еще что-то думаю, может отказаться от идеи архивов и создавать зип чисто при скачке. Но это трафик на s3 вырастет

[pantsarny]

yarovikov, а что это даст? будет кушать процессорное время. Если нет задачи создавать динамические архивы - я бы оставлял как есть, и при загрузке вынимал инфу как вы и собираетесь