Как организовать видеохранилище на сервере?

Question

[Александр Санеев]

Доброго времени суток.
Пользователи будут загружать короткие видеофайлы.
Как правильнее организовать хранение этих видео?
Я думал сделать так Users/user1/category1/filename В корне сайта создать папку в которой будут создаваться юзерпапки в которых будут создаваться папки-категории в которых видео храниться и будет. А все остальное хранить в БД.

Какие недостатки и плюсы такого варианта реализации и какой более оптимальный и гибкий?
Хочется что бы как-то по полочкам всё.
Интересно, как это все организовано в ютубе...(?)

Answer 1

[lubezniy]

А как с такой организацией Вы будете закрывать доступ к файлам (например, только френдам), если это планируется на перспективу? И не может ли быть повторной заливки файла с тем же именем, но другим контентом?
Ещё один момент - при такой организации, если объём данных вырастет, то работать бэкапным или репликационным программам будет непросто: им придётся сканить все эти папки. Но это можно решить на этапе реализации, если при заливке ставить какой-нибудь флаг для этих программ (мол, забери себе файл по такому-то пути).

Comments

[Александр Санеев]

а если все видео просто загружать в одну папку Но- при этом создавать строчку таблицы в БД типа - чьё это видео, кто имеет к нему доступ, название этого видео или какой-то уникальный идентификатор, коменты и т.д.?
так то вроде бы организуемо но что делать с одинаковыми названиями разного контента? или верее разным контентом с одинаковыми названиями?

[Александр Санеев]

тогда наверное более правильный вопрос будет выглядеть примерно так - организация БД для видеохранилища.

[lubezniy]

Александр Санеев: Организовываете всё Вы - Вам и решать. Никто не мешает оригинальное имя держать там же в базе, а файл заливать в каталог под другим (записанным в той же строке таблицы).
У одной папки проблема в том, что эти видео из папки серверу придётся неоднократно считывать, каждый раз нагружая один и тот же каталог. Пока файлов там мало, это проблемы не составляет. Но на множестве (сотни тысяч и более) файлов в одном каталоге можно получить тормоза (особенно при бэкапе/репликации) и сложности с масштабированием. Чтобы заблаговременно иметь возможности для реакции на проблемы (а также на исчерпание свободного места в файловой системе), в базе можно иметь поле, указывающее на каталог или даже сервер (может, даже и не один, если предполагается высокая нагрузка) для хранения конкретного видео, а при заливке, если начинаются сложности, админу можно будет просто переключить заливку на новый каталог или сервер, оставив старый в read-only. И затем, если надо, добавлять каталоги, переносить их на другие серверы и таким образом масштабироваться.

[Александр Санеев]

lubezniy: то есть оптимальным вариантом будет создавать каталоги такого "объёма" что бы серверу было не особо напряжно его (каталог) обрабатывать? хм, круто, спасибо!)
а что же делать с одинаковыми файлами под разными названиями?

[lubezniy]

Александр Санеев: Я не знаю Ваших условий и не могу сказать, какой именно вариант будет оптимальным. Своё мнение пишу по своему опыту работы с web-сервисами средней нагруженности (когда одного сервера уже не хватает по нагрузке на сервер или канал его связи с сетью, но до уровня youtube и даже rutube и их количества серверов ещё далековато), но с видеохостингами дела сам не имел.
А имя файла можно держать не в файловой системе, а в базе. Для файловой системы никто не мешает сгенерить уникальное имя файла (например, в виде UUID или даже id автоинкрементного поля в таблице БД) и записать его в ту же строку таблицы, что и оригинальное, только в другое поле.