Аплоад файлов больше 2Гб браузером

Question

[esc]

Хочется сделать аплоад больших файлов на сайт без использования FTP. Хорошим решением является flash загрузчик, но, судя по всему, flash в принципе не понимает файлов больше 2Гб.

Подсказали загрузчик www.plupload.com/, который умеет грузить разными способами, отлично работает google gears, в chrome и safari неплохо грузит через html5 файлы любого размера.
Казалось бы, все хорошо (в крайнем случае, нужно посоветовать установить gears), но самый популярный браузер на сайте Opera, а в ней работает только flash и классическая загрузка через браузер (html4). При чем, последний на больших файлах подвисает и приемлемых способов отобразить ход загрузки (даже используя модули прогресс-бара для веб-сервера) нет. А на файлах таких размеров, видеть прогресс очень важно.

Собственно вопрос — может быть кто-то сталкивался с загрузкой файлов больших размеров (больше 2 или даже 4 Гб), как вы это реализовывали? java без крайней необходимости использовать бы не хотелось.

Comments

[Sergey]

самый популярный браузер на сайте Opera

Любопытно, что за сайт? operafan.net? Нет, мне действительно интересно, по моей личной статистике — не более 5-10% как правило.

[esc]

www.liveinternet.ru/stat/uk/browsers.html

Answer 1

[Dmitry Dedukhin]

Самое главное-то я забыл, lightweight uploader
Разрабатываю как альтернативу plupload, сайт еще не доделан, но можно посмотреть примеры.
Из плюсов:
— меньше размер кода
— конкретно заточен на работу со связкой nginx + nginx upload module
— как следствие пункта 2 — возможность дозагрузки файлов

Comments

[esc]

Сайт не доделан, а как дела с самим аплоадером? На сколько он стабилен?
Тестировали его в опере?

[Dmitry Dedukhin]

Честно признаюсь, в опере пока не поверял, т.к. ей не пользуюсь.
Сейчас установлю и проверю.

[Dmitry Dedukhin]

Opera 10.63

[esc]

Ага, значит дело возможно в неверном определении plupload'ом поддержки сильверлайта в опере.
Попробую потестировать ваш аплоадер;)

[Dmitry Dedukhin]

Вы наберите в опере в адресной строке opera:plugins и узнаете, установлен у вас сильверлайт или нет.

[esc]

Установлен, а plupload пишет
Silverlight runtime
You browser doesn't have Microsoft Silverlight plugin installed.

Видимо придется в нем поковыряться и переделать детектор silverlight.

[Dmitry Dedukhin]

По поводу кода моего загрузчика могу сказать, что критичных багов я не заметил, если вы их найдете — буду рад исправить.
В ближайшем будущем добавлю возможность получения статистики очереди загрузки: кол-во файлов в различных состояниях (добавлен, загружается, загружен успешно, ошибка загрузки) и их размер, что может быть полезно для ограничения количества загружаемых файлов за раз.
Также, более детально напишу раздел документации.

Answer 2

[Vitaliy Petrychuk]

Не уверен но все же: редактирование .htaccess не подойдет? Например:

php_value upload_max_filesize 20M
php_value post_max_size 20M
php_value max_execution_time 200
php_value max_input_time 200

Comments

[esc]

Нужно клиентское решение, на стороне сервера все ок.

Answer 3

[Андрей]

narod.yandex.ru/
flash-загрузчик, лично загружал файл 4.5 Gb
Если сделал Яндекс, значит может сделать любой.

Comments

[Dmitry Dedukhin]

Видимо, у вас 64-битная версия флэш-плеера. К сожалению, она есть не у всех.

[esc]

А чего вы решили что там flash? Flash там только если много файлов грузить и выдается:

Answer 4

[Dmitry Dedukhin]

В Опере же работает silverlight, а с ним запросто можно грузить файлы любого размера, причем очень весомое достоинство — можно грузить небольшими кусочками.
С флэшом есть проблема — класс FileReference, с помощью которого и осуществляется загрузка, не позволяет читать файл по смещению, есть единственный метод load() который полностью загружает файл в память компьютера и даже на файле 500мб может повесить машину с 2ГБ озу на борту.
Загрузка чанками имеет огромный плюс в том, что практически исключается влияние всяких прокси на пути файла от браузера к вашему серверу (к таким прокси относятся и некоторые антивирусы), которые [прокси] могут вызывать срыв загрузки из-за таймаутов.

Comments

[esc]

На сколько я понял silverlight, там можно грузить только небольшими кусочками, потому как сначала файл переносится в какой-то кеш, потом грузится. Если скормить даже 1.5Гб файл, то сильверлайл загрузчик подвисает надолго.
В принципе, upload модуль nginx вроде последнее время обрабатывает файлы по кусочкам (мне критично, чтобы nginx после загрузки выдавал md5 хеш каждого файла, а не кусочков), то вопрос как раз в Опере. У меня во всех браузерах показывает, что Сильверлайт включен, кроме оперы. Качал установщик к сайта и ставил еще раз — аналогично. Точно в опере работает Silverlight?

[Dmitry Dedukhin]

На сколько я понял silverlight, там можно грузить только небольшими кусочками, потому как сначала файл переносится в какой-то кеш, потом грузится

Да, это правда.
Из-за невозможности программно задать заголовок Content-Length сильверлайт целиком буферизует запрос, и только после этого начинает его отправлять.

Точно в опере работает Silverlight?

У меня на работе точно работает, дома пользуюсь в основном хромом, реже файрфоксом.

Answer 5

[DjOnline]

habrahabr.ru/company/mailru/blog/102551/

Comments

[esc]

У мейл.ру ограничение на файл 100Мб, соответственно проверить может их решение работать с файлами больше 2 и 4 Гб, или нет, невозможно.

[DjOnline]

не 100Мб, а 1Гб.

[esc]

после регистрации — гигабайт, но это ничего не меняет. Нужно больше 4 или хотя-бы больше 2.

[DjOnline]

ну так проверь их решение на 4гб, там же исходный код выложен

[esc]

Я уже получил ответ, загружать частями, через silverlight, в опере он нормально работает, проблема у скрипта plupload. Дописать его, переделать серверное окружение под поддержку partial upload и все.

Answer 6

[Dmitry Dedukhin]

Может, в сильверлайте размер файла 64-битный.
Возьмите мой загрузчик и проверьте, кто вам мешает?

Comments

[esc]

Пока мешает то, что сильверлайт бьет файл на части, а моя среда загрузки на это не рассчитана. Так вообще сильверлайт все грузит (проверял в другом браузере), думал, что он просто в опере не работает;)
Думаю, что после перенастройки серверов для поддержки загрузки по частям и корректировки кода plupload, вопрос решится. Спасибо за помощь.

P.S. Ваш загрузчик тоже попробую, но на данный момент все настроено для plupload (в том числе и дизайн), подкрутить его будет быстрее чего-либо другого.