Как защищать сервер от вредоносных файлов?

Question

[StynuBlizz]

Есть сервер,на него пользователь может загружать видео и как мне делать проверку на то, не загрузил ли пользователь чего-нибудь вредного (вирусы и т.д) вместо видео?

P.s На всякий случай упомяну,может важно: видео после загрузки пересылается на сервер обработки видео,там обрабатывается, и сохраняется на файловом сервере (возможно AWS S3)

Comments

[АртемЪ]

Вам это для чего?
Т.е. что страшного произойдет если пользователь таки загрузит нечто непотребное?
Для начала нужно с этим определится, а потом уж выстраивать защиту.

[StynuBlizz]

АртемЪ: Ну если он допустим загрузит вирус,это что-ли никак не повлияет на работу сервер?

[Adamos]

StynuBlizz: если у вас сервер на винде и она сразу сдуру исполняет то, что прислал пользователь - да, это ужасно.
Если же жизнь загруженного файла - от закачки до передачи на "сервер обработки видео" и больше он нигде не светится - в этом файле может быть решительно что угодно.

[StynuBlizz]

Adamos: Но во время этого пути он же исполняеться, например во время самой обработки, ну или перед обработкой есть какие-нибудь лазейки которыми можно воспользоваться что-бы выполнить вредоносный код. Или нет?

[АртемЪ]

StynuBlizz: пользователь загружает файл - это просто информация, единицы и нули. Все. Никакого вреда он не причинит.
Если внутри файла есть вредоносный код, и вы изъявите желание его запустить и запустите - тогда возможно причинит.

[АртемЪ]

StynuBlizz: Ваш сервер запускает на исполнение загруженные пользователями файлы?

[StynuBlizz]

АртемЪ: Вот это я и немогу понять, весь путь который он проходит,это: загрузился->обработался->сохранился ну и дальше пользователи его просматривают.И проходя этот путь исполняется он или нет?

[АртемЪ]

StynuBlizz: Ну сервер ваш, вам виднее что он делает.
Загрузился - ну как правило под этим понимают передачу данных по сети и запись их на локальный диск.
Обработался - вы вызываете код находящийся в файле на выполнение? Что именно вы понимаете под обработкой?
Сохранился - ну опять же запись.
Пользователи просматривают - каким образом? Глазами? Программу какую то вызывают которая читает файл?

[StynuBlizz]

АртемЪ: Файл загружаеться в буфер nginx, после того как весь файл получен,nginx передает его django, django проводит обработку запроса (проверку данных пользователя) и если всё норм,то передает файл серверу для обработки видео (пока этого сервера нету,так что обработка проводиться из кода django, c помощью мода ffmpeg для python),под обработкой подразумеваться то что я передаю видео в ffmepg для изменение битрейта,кодека и прочего, после обработки я сохраняю файл. Пользователи просматривают видео так: посылают запрос в nginx с ссылкой на файл, а nginx потоком отдает файл по ссылке (потоковое вещание)

[АртемЪ]

обработка проводиться из кода django, c помощью мода ffmpeg для python

Ну вот если в этом коде нет дыр которые можно эксплуатировать передав ему на обработку некорректный файл, то все нормально.

[StynuBlizz]

АртемЪ: Окей,спасибо за ответы

Answer 1

[dummyman]

Если сервер на linux или bsd то проверять mime-тип:
file -b --mime-type путь_до_файла
или
xdg-mime query filetype путь_до_файла
Ну а если на винде - любой антивирус решит проблему

Comments

[StynuBlizz]

Но mime тип можно же указать какой угодно при отправке файла

[dummyman]

StynuBlizz: указать можно любой, а вот операционная система не в курсе какой был указан, определяет сама

[Adamos]

Если нужно убедиться, что это именно видео, и на сервере таки нормальная ОС, можно скормить файл ffmpeg. Кстати, из его вывода можно заодно узнать кодек, разрешение, длительность... вдруг понадобится.

[StynuBlizz]

Adamos: ОС ubuntu, а для обработки и так передаю его ffmpeg, но испольняеться ли перед этим файл?

[dummyman]

StynuBlizz: если убунта, набери команду
man ffprobe
Там есть инструкция к применению тулзы, которая читает файл до декодирования.

[Adamos]

StynuBlizz: поучите азы, чтобы не спрашивать глупости.
И русский язык неплохо бы, чтобы не спрашивать настолько коряво.

[StynuBlizz]

Adamos: И где же эти азы поучить,а?Я спрашиваю вещь которая состоит из мелочей (и это ни как не азы),или что вы мне предлагаете копаться в исходниках ffmpeg чтобы понять как там что работает?Для вас это выглядит глупостью потому-что вы это понимаете,а для меня эта вещь непонятна и в какую сторону копать я не знаю (это по поводу корявого вопроса,если вы имели ввиду смысл,а не грамматику)

[Adamos]

StynuBlizz: ни черта вы не поймете в исходниках. Вам нужна база: как работает ОС, как работает веб-сервер. Вы этого не понимаете.

[StynuBlizz]

Adamos: Не понимаю я таких людей как вы,зачем писать ответы вроде "перед тем как задавать вопрос погугли", "поучи азы" и т.д. Если человек задал вопрос значит ему что-то непонятно (и да очевидные вещи иногда тоже бывают непонятны из-за неправильного восприятия самой вещи),ну а если вы считаете что вопрос банальный и тупой,и человек даже ничего не почитал по этой теме перед тем как задавать вопрос, не давайте тогда вообще никаких ответов, тогда если нормальные (не такие учители как вы)люди не дадут ответ, человек просто от безысходности полезет искать самостоятельно. Лучше написали бы нормальный ответ, в котором все расписано, и по поводу нюансов написано куда обратиться за тем чтобы понять. Это было бы лучше чем советовать разбираться в устройте работы OC, так как это материал не на одну неделю. И такой ответ был бы гораздо полезнее и для меня и для будущих людей который зададут подобный вопрос.

P.s Зачем тогда нужны такие платформы если не получить ответ от знающих людей?

[Adamos]

StynuBlizz:

это материал не на одну неделю

Вот именно. Нет такого ответа, который здесь и сейчас одномоментно развеет ваше невежество. Все, что мы можем сделать - это указать на то, что вопрос, который вы задаете, лишен смысла, и причину этого - отсутствие у вас базовых знаний. "Такие платформы" не заменяют образования.

[StynuBlizz]

Adamos: Если бы в своем первом ответе сказали

Все, что мы можем сделать - это указать на то, что вопрос, который вы задаете, лишен смысла, и причину этого - отсутствие у вас базовых знаний.

то я бы вас понял,но так как вы не сказали этого ваш ответ выглядел так "мне лень отвечать иди сам разбирайся". Но я всё-таки не понимаю, что сложно в том,чтобы все знания о устройсте ОС по данной теме которые у вас есть, сжать в короткий ответ?И не говорите а том что это сделать невозможно, это возможно и я в этом уже пару раз убедился, когда задавал вопрос и мне отвечали что-то вроде того что ответили вы, но после того как я ознакомился с этой темой я увидел что ответ на мой вопрос можно было уместить в пару строчек.

[Adamos]

StynuBlizz: Получая простой ответ на сложный вопрос, вы получаете лишь незначительную часть ответа.
Получая правдивый ответ на неправильный вопрос, вы получаете ложный ответ.
Ваш вопрос в заголовке, на самом деле, не имеет никакой связи с каким-то "исполнением" загруженных файлов.

[dummyman]

Adamos: Однако, развели полемику... Вам времени не жалко?

StynuBlizz: Если у вас есть гаджет с андройдом, советую скачать ManMan. Отличное сортирное чтиво! Когда все что используешь уже прочитано, просто выбираешь рандомную страницу.

[StynuBlizz]

Adamos: Вас никто не просит расписывать в мелочах всю схему работы ОС, вас просят дать ответ на вопрос будет ли в моей ситуации исполнятся файл,и если вам нужны какие-нибудь уточнение, скажите где уточнить.

[StynuBlizz]

dummyman: Зачем?Там описание команд linux, а мне это не надо

[Adamos]

StynuBlizz: исполнятЬся не будет.
Но если этот файл будет размещен в предсказуемом доступном месте и в нем будет скрипт, который возьмется исполнить ваш веб-сервер...
Или файл будет специально сформирован под эксплуатацию какой-нибудь уязвимости ваших скриптов или ffmpeg (уж не знаю, как там у него с уязвимостями)...
Все стало понятно, правда?
И действительно, мне не только жалко времени, но и работать надо. Вынужден откланяться, дальше сами.

[StynuBlizz]

Adamos: Вот,вот тот ответ который и требовался.Почему сразу нельзя было его дать и дополнить его теми советами которые выше. Спасибо

[StynuBlizz]

dummyman: Как видишь не зря полемику развели)

[dummyman]

StynuBlizz:

Зачем?Там описание команд linux, а мне это не надо

Маны - это святое! Каждый мужик должен знать Man's pages.

[Stalker_RED]

StynuBlizz:

Вот,вот тот ответ который и требовался.Почему сразу нельзя...

А вы перечитайте свой вопрос, который вы сразу написали. Нужно быть телепатом чтобы понять какой ответ вы хотите. Кроме того, есть довольно большая вероятность того, что вы неправильно поняли смысл этого "ответа который и требовался".