Как хранить картинки/видео на сервере?

Question

[Константин]

Мне интересно как организованно хранение файлов у больших сайтов?
Например вконтакте.
Используют ли там какие то файловые хранилища или все хранят по папкам?

Как правильно хранить файлы чтобы их можно было легко использовать на самом сайте и вставлять в html плееры?

Comments

[Евгений Безымянников]

Во вконтакте много серверов cdn сети.
Выбор хранилища и архитектуры нужно делать на основе тз и расчетов по нагрузкам и особенностям.

[Константин]

да мне хотяб ознакомится с парой тройкой открытых доступных серверов. На чем они вертяться как работают

Answer 1

[Юрий Чудновский]

Используют ли там какие то файловые хранилища или все хранят по папкам?

Некорректная постановка вопроса. В файловых хранилищах что, нет папок? Это тоже компьютеры. И у них тоже файловые системы. Никто в здравом уме не будет хранить миллионы файлов в неструктурированном хранилище. Поиск среди миллионов файлов нужного будет неоправданно длительным.

Comments

[Константин]

а пример хранились и с примером работы с ними. а то щас работаю с jackrabbit через php и там проблемы с большими файлами - дико жрется память

Answer 2

[Stanislav]

Используют отдельные файловые сервера.

Comments

[Константин]

а можно пример такого сервера? на чем, как пощупать, как поставить поиграть с ним?
а то щас работаю с jackrabbit через php и там проблемы с большими файлами - дико жрется память

[Stanislav]

Константин: введите в Google - "где хранить файлы для сайта?" - куча ссылок и информации.

Answer 3

[Александр]

Storage
Движок создан для хранения пользовательских данных — фото, видео, аудио, документы. Благодаря хранению различного контента в одном файле и индексированию в памяти смещений, Storage справляется с этой задачей лучше, чем при использовании классического подхода с хранением отдельных файлов в файловой системе.

Источник: https://habrahabr.ru/company/vkontakte/blog/214877/

ВК все храни в одном файле

Comments

[Юрий Чудновский]

Хм. Они переизобрели FUSE :) В самом деле, их файл с данными - вариант файловой системы в виде файла с внешними метаданными (хранимыми в другом файле). Для того, чтобы найти нужное смещение, нужно прочитать эти метаданные и произвести по ним поиск. Это по сути аналогично чтению той же информации из файла директории. Единственный вариант когда их подход даст положительный эффект - когда этот файл не лежит на другой файловой системе, а пишется/читается напрямую через драйвер дисковой системы, но это и есть работа обычной файловой системы. И у этой ФС будут обычные для других недостатки - фрагментируемость при удалении контента. ИМХО, зря этим заморачивались, могли бы просто использовать одну из множества подходящих для этой цели уже существующих ФС.

[Константин]

Вы походу разбираетесь в хранении файлов, подскажите, на чем хранить, быстро просто освоить, а то щас работаю с jackrabbit через php и там проблемы с большими файлами - дико жрется память, на прямую не получить, только через просмотр репозитория, но нужен пароль для просмотра...

[Александр]

Юрий Чудновский: Фрагментированности у них наверное нет. Если мне не изменяет память, то фото и прочее из ВК не удаляется и продолжает хранится на сервере после нажатия кнопки "Удалить".