AWS s3 & Django & Nginx. Конфигурация?

Question

[MalikDeveloper2077]

(Сразу скажу на локалхосте идеально работает)

Я сделал конфигурацию для своего s3 bucket, медиафайлов Django и сервера Nginx.
Это работало, картинки загружались и показывались, но через несколько часов уже не работает ...
Не знаю, имеет ли это значение, но я создал bucket policy s3 для action "getObject" с условием, что запрос должен иметь заголовок User-Agent с секретной строкой, например:
curl -I some.url -H "User-Agent: dog"

My Django AWS Configuration (django_storages):

AWS_ACCESS_KEY_ID = 'my_access'
AWS_SECRET_ACCESS_KEY = 'my_private'
AWS_STORAGE_BUCKET_NAME = 'diasmart-media-static'

S3_REGION = 'eu-north-1'
AWS_S3_CUSTOM_DOMAIN = f'https://s3-{S3_REGION}.amazonaws.com/{AWS_STORAGE_BUCKET_NAME}'
AWS_S3_SIGNATURE_VERSION = 's3v4'

AWS_S3_FILE_OVERWRITE = False
AWS_DEFAULT_ACL = None
DEFAULT_FILE_STORAGE = 'storages.backends.s3boto3.S3Boto3Storage'


# Static and media
STATIC_URL = '/static/'
STATIC_ROOT = os.path.join(BASE_DIR, 'assets')
STATICFILES_DIRS = [
    os.path.join(BASE_DIR, 'static')
]

MEDIA_URL = '/media/'

My Nginx config

location /media {
                resolver 8.8.8.8;

                limit_except GET {
                        deny all;
                }

                set $aws_bucket "diasmart-media-static";
                set $aws_endpoint "s3-eu-north-1.amazonaws.com";
                set $aws_custom_secret "for_example_dog";

                proxy_set_header User-Agent $aws_custom_secret;

                rewrite ^/media/(.*)$ /$aws_bucket/$1 break;
                proxy_buffering off;
                proxy_pass https://$aws_endpoint;
        }

Когда я загружаю фотографии со страницы администратора Django, ошибок нет, но изображения не отображаются.
А мой s3 bucket пустой...

Comments

[Вадим]

Привет, а фото на s3 bucket загружает сам Django? Или ты сам ручками... Если Django, то не только GetObject, но и PutObject !

кроме того, я писал, что если работает на EC2 можешь ему дать доступ на s3 без использования AWS_ACCESS_KEY и AWS_SECRET_ACCESS_KEY

опиши information flow !

[MalikDeveloper2077]

Вадим, загружается через джанго. За Access не беспокойтесь, в nginx показывает что фотки выдают 404, не 403

[Вадим]

1. Что означает у вас - А мой s3 bucket пустой... ? Вручную загруженные фотографии отображаются?
2. А при работе с локальной папкой, фотки загружаются и отображаются?

[Вадим]

proxy_set_header User-Agent: $aws_custom_secret;

двоеточие

[MalikDeveloper2077]

Вадим, 1) Да
2) Да, все отрабатывает. Даже на локалхосте работает при этой конфигурации. С nginx нет

Если что конфигурацию щас чуть изменил:

AWS_ACCESS_KEY_ID = ''
AWS_SECRET_ACCESS_KEY = ''
AWS_STORAGE_BUCKET_NAME = 'diasmart-media-static'

S3_REGION = 'eu-north-1'
AWS_S3_SIGNATURE_VERSION = 's3v4'

AWS_S3_FILE_OVERWRITE = False
AWS_DEFAULT_ACL = None
DEFAULT_FILE_STORAGE = 'storages.backends.s3boto3.S3Boto3Storage'


# Static and media
STATIC_URL = '/static/'
STATIC_ROOT = os.path.join(BASE_DIR, 'assets')
STATICFILES_DIRS = [
    os.path.join(BASE_DIR, 'static')
]

MEDIA_URL = f'https://{AWS_STORAGE_BUCKET_NAME}.s3.amazonaws.com/'

NGINX:

location /media {
                resolver 8.8.8.8;

                set $aws_bucket "diasmart-media-static";
                set $aws_endpoint "diasmart-media-static.s3.amazonaws.com";
                set $aws_custom_secret "";

                proxy_set_header User-Agent $aws_custom_secret;

                rewrite ^/media/(.*)$ /$1 break;
                proxy_buffering off;
                proxy_pass https://$aws_endpoint;
        }

[Вадим]

двоеточие после proxy_set_header User-Agent

[MalikDeveloper2077]

Вадим, Все равно не работает

[MalikDeveloper2077]

Вадим, Если что, то картинки в бакет даже не загружаются (хотя в локалхосте загружаются)

[Вадим]

Хорошо, а загруженные картинки видны на веб странице? - Через nginx !

[Вадим]

https://stackoverflow.com/questions/44689882/confi...

таким образом Nginx не ответсвенен за статические файлы. Тебе лучше использовать Pre-Signed URL's, кот ты динамически вставишь в веб страницу с помощью Django:
https://boto3.amazonaws.com/v1/documentation/api/l...

[MalikDeveloper2077]

Вадим, Да видны
В общем за пару дней уяснил все.
Картинки загрузится в бакет не могут, однако при той же конфигурации они загружаются на локалхосте
Nginx успешно загружает картинки (которые я загрузил самостоятельно на сайте AWS)

То есть работает все кроме загрузки через Django файлов в AWS

[Вадим]

Для загрузки файлов тебе необходимо использовать boto3 library

import boto3
from botocore.exceptions import NoCredentialsError

ACCESS_KEY = 'XXXXXXXXXXXXXXXXXXXXXXX'
SECRET_KEY = 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'


def upload_to_aws(local_file, bucket, s3_file):
    s3 = boto3.client('s3', aws_access_key_id=ACCESS_KEY,
                      aws_secret_access_key=SECRET_KEY)

    try:
        s3.upload_file(local_file, bucket, s3_file)
        print("Upload Successful")
        return True
    except FileNotFoundError:
        print("The file was not found")
        return False
    except NoCredentialsError:
        print("Credentials not available")
        return False


uploaded = upload_to_aws('local_file', 'bucket_name', 's3_file_name')

[MalikDeveloper2077]

Вадим, Не, все уже решилось как то само)