Как администрируют сайты картинок?

Например развлекательные сайты с фотками и мемасами. Инстаграмы и им похожие. В том плане, что в отдельную папку складываются файлы картинок - JPG|GIF - и складываются туда постоянно и бесконечно долго.

Как этот массив файлов обслуживают? S3 дико дорого.
Их же как-то резервируют. Дублируют. А что с отказом сервера делать?
  • Вопрос задан
  • 270 просмотров
Пригласить эксперта
Ответы на вопрос 4
inoise
@inoise
Solution Architect, AWS Certified, Serverless
Как раз таки S3. Надо понимать что кроме s3 задействуется cdn, а для старых картинок есть lifecycle policy по которому со временем они переводятся на более дешевое хранилище за счет крепкого обращения, а потом так и совсем удаляются
Ответ написан
Sanes
@Sanes
!
Есть холодные и горячие данные.
Для горячих используют более быстрое и дорогое хранилище, для холодных наоборот.
https://cloud.yandex.ru/prices Object Storage
Ответ написан
Ну тут есть разные способы
1. S3 и его аналоги от разных провайдеров. Вплоть до яндекса/майлру. Самый дорогой вариант, но самый простой для вас. Очень дорого за хранение и за исходящий траффик.
2. S3 + cdn. К хранилищу добавим cdn cloudflare или cdnvideo. Выбирать по цене на траффик. Можно сразу уменьшить счет за трафик от s3 раз в 100. За счет кеширования на cdn конечно.
3. Аренда серверов и сами ставим и админим какой-нибудь ceph/gluster, ну или во что сейчас люди верят. Уменьшает ценник хранения раз в 5-10.
4. Теоретически есть вариант с покупкой своего железа от вендора/ или очень дешёвого железа с постоянным запасом расходников, но я такое вообще никому не посоветую.

Стоимость в каждом варианте будет падать, НО требует больший профессионализм в администрировании. Если скил слабоват - то первый большой факап помножит все что у вас есть на ноль.
Ответ написан
Jump
@Jump
Системный администратор со стажем.
Как администрируют сайты картинок?
А в чем проблема?

В том плане, что в отдельную папку складываются файлы картинок - JPG|GIF - и складываются туда постоянно и бесконечно долго.
Делают по разному.
Одна из самых удачных схем -
Каждый файл хэшируется и хэш файла является путем и именем файла.
Это позволяет быстро и удобно искать файлы и масштабировать.

Например файл example.jpg имеет хэш d63d0e21fdc05f618d55ef306c54af82
Следовательно на диске этот файл имеет имя d63d0e21fdc05f618d55ef306c54af82 и хранится по пути, например d /6/3/.
В небольшой БД вы храните просто соответствие имя или описание и хэш
Это позволяет как угодно масштабировать количество серверов хранения, дисков, папок, и быстро искать нужный файл на нужном устройстве, равномерно распределять файлы по местам хранения, и удобно организовывать резервирование файлов

S3 дико дорого.
S3 это сервис.
Вы платите деньги и получаете результат. Как оно там работает вас интересовать не должно, это не ваши проблемы.
А если вы не хотите платить деньги сервису - реализуете собственное хранилище.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы