Не работал с обоими, но, насколько понимаю, Hadoop заведомо не подходит, если речь только не об оффлайн хранении и обработке документов.
Похоже, что вам остается Ceph, который, кстати, реализует интерфейс S3.
Зато в MongoDB есть
GridFS и она хорошо масштабируется. GridFS разбивает файлы и хранит их кусками 255 kB.
Еще есть GlusterFS и другие решения.