Как проверять файлы в S3 хранилище?

Question

[THGeniy]

Всем привет! Разрабатываю сайт на Django/React с хранением файлов в S3 хранилище от Selectel, весь проект разворачиваю в Docker.

У меня возник вопрос касаемо того как проверять загружаемые файлы в S3 на безопасность.
Вижу три основных пути реализации механизма, но по каждому из них у меня есть вопросы:

1) На клиент отдавать временный URL для загрузки с Content_Type загружаемого файла и ограничением по времени в зависимости от размера файла. Файл грузиться в отдельный бакет или "папку" контейнера, после этого скачивается сервером или отдельным сервером для дальнейшей валидации. По этому методу у меня вопрос такой, стоит ли для такого случая создавать отдельны изолированный Докер контейнер где будет происходить вся проверка и как такое реализовать?

2) Следующий способ это передача файла через POST запрос на сервер, запись файла в оперативку, а дальше происходит дальнейшая валидация и загрузка в S3. В этом методе меня интересует насколько такой подход оптимальный и ресурсоемкий?

3) Третий подход чем-то похож на первый, также файл грузиться сначала в S3, затем отдаем файл на сервер по чанкам и проверяем с помощью ClamAv (этот способ вычитал на одном из сайтов). В реализации этого метода меня останавливает вопрос сложности реализации данного подхода и насколько он качественно проверяет файл?

Если есть иной более качественный и распространенный способ, буду рад узнать о нем, сам новичок и в теме Web приложений относительно недавно. Буду рад вашим ответам, заранее спасибо за них!

Comments

[d-stream]

Память? А что будет если сотня-две клиентов одновременно отправят файлы?

Альтернативно-гибридный вариант:
- сохранять на S3 и считать хэш для virustotal
- давать файлы, уже лежащие в бакете на проверку сканеру

после проверки - делать файлы "доступными"

Answer 1

[rPman]

Сохраняя сразу в s3 хранилище, увеличиваешь стоимость в ~два раза (каждый файл будет загружен и выгружен, т.е. дважды), а у амазона к примеру стоимость сетевого трафика грустная. И да, проверить по кусочкам файл не получится, антивирусу файл нужен целиком. В принципе на сколько я знаю есть s3fs-fuse - файловая система где файлы грузятся с s3 прозрачно, возможно, если антивирус не проверяет все типы файлов, а проверяемый является архивом, то это может дать какой то бонус, но нужно еще удостовериться что эта файловая система так умеет... да и не стоит так усложнять все.

Оперативка дороже диска, примерно на порядок (особенно с ростом размера файлов), с другой стороны до сотен мегабайт хватит держать файл в оперативке. Не вижу особой проблемы складывать файл на диск, проверять его и только после этого заливать в хранилище. Поэтому складывай на диск, проверяй, можешь параллельно запустить сохранение в s3 (потом прервешь или удалишь загруженное, если обнаружишь вирус).

docker не про безопасность а про изоляцию (для организации специфический версий библиотек), он не нужен именно для проверки файла на вирусы

Comments

[THGeniy]

Спасибо за ответ, такой вопрос, на что и чем посоветуешь проверять? Сам планирую использовать ClamAV ну и проверки на MiME, расширения и тд.

[rPman]

с какой целью проверка то?

[THGeniy]

rPman, Да на безопасность, чтобы через сайт пользователи не грузили вирусы и тд

[rPman]

и что за проверку по mime собираешься делать для "т.д."?

вирусы могут храниться в видеофайлах (помню а avi можно было ссылку на кодек ставить), в офисных документах (майкрософтовские вообще ад, особенно эпично, когда документ с кодом нельзя распечатать, не разрешив его выполнение), может еще где.. это помимо штатных исполняемых файлов и пакетов установки .msi, скринсейверов (были такие .scr файлы, может и сейчас работают), файлах скриптов powershell/bat/cmd/wsh vb или js/.. или к примеру файлы десктопных мини-приложений windows vista/win7.. в общем вариантов десятки

а главное зачем это делать?

p.s. лучший 'антивирусник' - агрегатор virustotal, у его есть api, если файл уже проверялся у них, загружать не нужно, хватит хеша от его содержимого, вроде бы есть платный тариф, но я на сайте не нашел, нужно им писать, гугл говорит что от 20$ но за что с какими лимитами хз

[THGeniy]

rPman, То есть предлагаешь прогонять файл через антивирусник (тот же virustotal) и все? Прости если задаю глупые вопросы, просто от темы безопасности файлов я далек.

[rPman]

не сказал зачем тебе нужно проверять файлы на вирусы?
у вас в организации на машинах он не установлен? (если что с windows идет штатный defender, который просто выключить не просто)

[THGeniy]

rPman, я не из организации, решил сам сайт для некоторых нужд) Говорю же надо проверять загружаемые файлы пользователем на предмет вирусов, чтобы через сайт их не распространить случайно. Как это сделать правильно я хз. Планирую в арендовать облачный сервер и через Docker развернуть сайт.

[rPman]

THGeniy, у вас публичный файловый обменник? на сколько я понимаю, проблемы вирусов в них стоят на последнем месте, там есть страшнее зверь - правообладатели.

ну если вам будет спокойнее, сканируйте clamav, простой бесплатный,.. можно еще держать windows машину и сканировать дефендером (на сколько я понимаю для личных не комерческих это можно), там из командной строки это возможно, у майкрософта антивирусник по серьезней будет.

virustotal по мне так лучшее решение, свяжитесь с ними, узнайте их цены

[THGeniy]

rPman, Да у меня файлообменник, вопрос с правообладателями решается с помощью оферты (консультировался по этому вопросу с юристами). Наверное воспользуюсь твоим советом и свяжусь с virustotal

[Everything_is_bad]

THGeniy,

вопрос с правообладателями решается с помощью оферты (консультировался по этому вопросу с юристами)

ахаха, если бы всё так просто, виноват в распространении будешь именно ты, никакая оферта тебя тут не спасет. А еще CP и да политика ща тоже может оказаться очень токсичной, а придут-то в первую очередь именно к тебе, и не факт, что офертой ты сможешь прикрыться.

[THGeniy]

Everything_is_bad, спасибо что напомнил об запрещенном контенте.... В общем решение пока вижу такое: файлы сразу грузить в S3 потом их админ скачивает в Виртуальной машине, проверять на запрещенный контент и параллельно на вирусы, при росте проекта буду уже думать как это делать автоматически.

Answer 2

[mayton2019]

Большинство файлов - небольшие. Их можно грузить в фолдер /tmp на сервере и проверять на вирусы сразу. И если ок то публиковать в s3.

Если файл допустим больше 10мб то публиковать сразу на s3. Но здесь как бы слегка уже срезали costs.

Answer 3

[Vitaly Karasik]

Я в AWS использую https://aws.amazon.com/blogs/apn/amazon-s3-malware... Amazon S3 Malware Scanning Using Trend Micro Cloud One