Как запретить менеджеру закачки разбивать загрузку на части/чанки/сегменты?

Question

[SovGVD]

Доброго времени суток, хабрачеловек. При скачивании файла (nginx) менеджер загрузки (не важно какой) пытается создавать кучу параллельных загрузок, при этом в настройках nginx это запретил (limit_conn) и логи быстро наполняется варнингами и еррорами о попытке скачиваний в несколько потоков.


Может есть какой хитрый хидер, чтобы менеджеру явно указать чтобы он качал в один поток?

Comments

[SovGVD]

При этом важно сохранить возможность дозагрузки файла.

Answer 1

[LightSUN]

Не знаю подойдёт ли такой вариант, но можно запретить Range и Range-Request как описывается здесь: http://habrahabr.ru/post/127029/. Побочный результат — нельзя будет продолжить закачку — только заново.

Comments

[SovGVD]

Побочные результат перечеркивает такой вариант полностью, т.к. размеры файлов достигают 10-20 гб и скачать их без дозакачки многим проблематично.

Answer 2

[Limosha]

В response headers указывайте
Accept-Ranges: none

смотрите www.w3.org/Protocols/rfc2616/rfc2616-sec14.html раздел 14.5 Accept-Ranges

Comments

[SovGVD]

Как я понимаю это вариант аналогичен тому что выше? Т.е. если запретить range, то не будет и дозагрузки?

Answer 3

[Nastradamus]

Если это X-Accel-Redirect (скачивание контролируемое), то можно делать блокировку на количество коннектов конкретной сессии в течение минуты на стороне скрипта отдачи. У меня был опыт организации такого решения.

Comments

[SovGVD]

nginx сам блокирует коннекты, а у меня задача запретить менеджеру закачек создавать кучу чанков

[Nastradamus]

Ну, собственно, запретить не получится, но на DownloadMaster действует 301-редирект, кажется (сам боролся с ним, и спрашивал на форуме разрабов). Но nginx ведь не умеет так: отдавать в один поток, а на второй поток отдавать 301-й. Поэтому нужен умный бэкенд-скрипт + X-Accel-Redirect.

[Nastradamus]

В общем, в предложенном мной варианте можно добиться того, что и менеджеры закачек не будут ломиться и докачка будет. Я бы разрешал 2 потока в интервале 30 секунд (потом бы обновлял счетчик): в таком случае, если человек поставит закачку в один поток на паузу в браузере, то сможет продолжить тут же без проблем.

[VBart]

Nastradamus Но nginx ведь не умеет так: отдавать в один поток, а на второй поток отдавать 301-й.
Кто вам это сказал? Умеет с незапамятных времен.

[SovGVD]

Попробовал сделать, но чего не придумаю куда 301 редирект то делать? Да и похоже что igetter-у всеравно пофиг на это — он видит 301, говорит fail и снова пытается (как и с 503)

Answer 4

[Nastradamus]

VBart, не знал. Расскажите куда копать, пожалуйста.

Comments

[VBart]

nginx.org/r/limit_conn/ru — кинет 503;
nginx.org/r/error_page/ru — позволит перехватить 503 и направить в location, который уже вернет 301-ый.

[Nastradamus]

Спасибо за информацию. Но так можно забанить целый офис. :) По сессиям определять лимиты интересней, чем по ip.

[SovGVD]

Можно блокировать по URL, например для скачивания уникальная ссылка в виде site.ru/download/hash — она и будет идентификаторов вместо IP

limit_conn_zone $request zone=zonename:10m;

[VBart]

Nastradamus
Можно использовать любые переменные, известные на момент запроса, например, по куке.

Answer 5

[Nastradamus]

VBart, не знал. Расскажите куда копать, пожалуйста.