Если грамотно настроить - грузите что нужно.
Всё зависит от настроек сервера и того, что вы будете делать с файлами.
При чем безопасность зависит как от клиентской части, так и от серверной.
Чтобы обезопасить - не выполнять скрипты в папке с загружаемыми файлами (к примеру, отдавать все файлы с помощью Nginx из папки напрямую, минуя PHP интерпретатор). Так же нужно настроить HTTP заголовки на страницах, чтобы нельзя было загрузить файл с JS и потом подключить в iframe на странице (если, к примеру, у пользователя есть возможность вставлять iframe, для того же youtube может быть нужно), иначе получите что-то вроде хранимой XSS, только в файловой системе (хотя, собственно, какая разница где хранить).
В целом - есть целый ряд вариантов выстрелить себе в голову, так что настоятельно рекомендую пока пользоваться готовыми инструментами, где упомянутые и некоторые другие вещи предусмотрены.