Как организовать и реализовать ограниченный доступ к файлам s3?

Question

[Федот Крузенштерн]

Есть приложение состоящее из сервисов:

• S3 хранилище с изображениями и видео
  
• backend реализующий пользователей (авторизация, роли и т.п.)
  
• ...
  

Требования:

1. open source решение
   
2. конечный пользователь не должен видеть оригинальную ссылку на хранилище
   
3. ссылка должна быть одноразовая
   
4. некоторые файлы могут быть видны только некоторым ролям пользователей
   

Второй и третий пункты требований для меня тёмный лес.
Четвёртый, наверное, не имеет смысла, т.к. нужно просто проверять роль пользователя на бэке и не передавать ссылку.

UPD:
В ожидании ответа, нашел что-то похожее на то, что нужно https://www.nginx.com/blog/securing-urls-secure-li...

Comments

[Василий Банников]

Кажется, проще на уровне своего приложения это разрулить. Вроде не сложно реализовать

[Федот Крузенштерн]

Василий Банников, вот мне и не понятно, как это реализовать. Есть какой-то материал, где описывают решение подобной проблемы?

Answer 1

[Федот Крузенштерн]

Оказывается мне был нужен модуль secure link в nginx. В оф блоге есть статья с конкретными примера и, пример для генерации ссылки на node.js.
https://www.nginx.com/blog/securing-urls-secure-li...

Answer 2

[d'Ivan]

1. open source решение

Ну так напиши backend, реализуй доступ к S3 и открой код. В чем проблема?

Генерация ссылки с доступом: S3 presigned URL
Права доступа управляются самим приложением. В интернете есть куча статей как это делать.
Для генерации одноразовой ссылки
Хранилище может быть видно всем, а доступ к файлам - только для кого сгенерирована ссылка.
Допустим, нужно раздать 1 файл 10 людям. У 10 человек будет 10 разных ссылок, ссылающихся на один и тот же файл в хранилище S3.

Если не хотите дорогой AWS S3, то возьмите совместимое решение MinIO, которое можно установить на своих мощностях и управлять самому.

Comments

[Станислав Бодро́в]

Если не хотите дорогой AWS S3, то возьмите совместимое решение MinIO, которое можно установить на своих мощностях и управлять самому.

Вот что-что, а S3 наверное самый дешёвый сервис от AWS. К тому же простой и удобный.
Скажите мне эксперты любого уровня, как вы сможете обеспечить надёжность на пять девяток после запятой как у S3? Хотя бы на половину предоставляемой ёмкости (128 ТБ) на своих мощностях под собственным управлением. Да у вас сиськи отвалятся подобное замутить даже на 8 ТБ при гарантированной сетевой доступности. Во сколько денег и человеко-часов (которые тоже стоят денег) оно обойдётся? Дисковую полку вам никто в здравом уме не даст покупать.

[Федот Крузенштерн]

Станислав Бодро́в, "пять девяток после запятой" проект не требует. Исходя из своих требований, сейчас использую minio, но в дальнейшем в любом случае это будет не AWS S3. Это очень дорого для меня (финансы только из моего кармана) на старте проекта. А проект позволяет меньше "девяток" :)

Для стартапов с хорошими инвестициями — AWS наверное топ.

[Василий Банников]

Федот Крузенштерн, либо если основная нагрузка на сервис идёт от платных пользователей

Answer 3

[Станислав Бодро́в]

open source решение

Это может быть написанная тобой Лямбда.

конечный пользователь не должен видеть оригинальную ссылку на хранилище

CloudFront обязателен, тем более тебе много и большой статики отдавать. Настраивается и женится с бакетом в касание.

ссылка должна быть одноразовая

Это может быть написанная тобой Лямбда плюс сервис Edge.

некоторые файлы могут быть видны только некоторым ролям пользователей

S3 поддерживает ролевую (если можно так сказать) модель доступа к данным, только тут ты уморишься всё это разруливать даже с Лямдбой на пару.

Если всё обобщить и расширить на грядущие возможные хотелки, то вырисовывается небольшой проект на wordpress. Там и авторизация, и аутентификация, и ещё что до кучи вылезет. WP искаробки работает с S3 и CloudFront. Думаю, плагинов для генерации одноразовых ссылок для быть не в единичном экземпляре.

Comments

[Федот Крузенштерн]

CloudFront обязателен, тем более тебе много и большой статики отдавать. Настраивается и женится с бакетом в касание.

Он не обязателен, у меня не нетфликс и не ютьюб. На старте, для mvp достаточно просто маскировать ссылку (некий прокси). Только нужно какое-то решение. Есть ли у вас опыт в этом? Интересная/полезная ссылочка?

Если всё обобщить и расширить на грядущие возможные хотелки, то вырисовывается небольшой проект на wordpress. Там и авторизация, и аутентификация, и ещё что до кучи вылезет. WP искаробки работает с S3 и CloudFront. Думаю, плагинов для генерации одноразовых ссылок для быть не в единичном экземпляре.

Уже есть полноценный бэк в виде strapi. Роли и т.п. там реализовано из коробки.

Одноразовые ссылки и скрытие оригинального домена — думаю это какое-то одно решение в nginx или чего-то подобного.
При запросе api (в strapi) обращаюсь к какому-то сервису (своему, а не AWS), который генерит ссылку и я ее возвращаю в ответ конечному пользователю.

Пропасть именно в этих самых ссылках с использованием open source решением, которое можно положить рядом с приложением.

[Станислав Бодро́в]

Федот Крузенштерн,

Он не обязателен, у меня не нетфликс и не ютьюб.

Это тут причём вообще? Зачем вообще AWS и его сервисы? Парочка vsd hetzner и сами с усами делаете что хотите

Одноразовые ссылки и скрытие оригинального домена — думаю это какое-то одно решение в nginx или чего-то подобного. При запросе api (в strapi) обращаюсь к какому-то сервису (своему, а не AWS), который генерит ссылку и я ее возвращаю в ответ конечному пользователю.

Вот тут уже сам.