Nginx и раздача файлов?

Question

[SovGVD]

Использую nginx на сервере для контролируемой раздачи файлов (wiki.nginx.org/XSendfile)

Встала задача узнать скачал ли пользователь файл полностью или нет (прервалось скачивание например или просто отменил скачивания), а как сделать — понятия не имею. Есть предложения у хабрасообщества (вариант с раздачей скриптом на php/python/perl/etc не принимается)?


upd: post_action (например abarmotik.livejournal.com/7496.html)

# Здесь обрабатывается запрос на скачивание файла.<br/>
 # урл имеет вид <a href="http://example.com/download/-encrypted-file-id-">example.com/download/-encrypted-file-id-</a><br/>
 location /download {<br/>
 set $limit_rate 10k;<br/>
 limit_conn lim 1;<br/>
<br/>
# передаем запрос бэк-енду на расшифровку. В ответе ожидаем хедер X-Accel-Redirect <br/>
 proxy_pass <a href="http://127.0.0.1">127.0.0.1</a>:8888/nginxds/linkDecoder?domain=$host&path=$request_uri;<br/>
 proxy_set_header X-Real-IP $remote_addr;<br/>
 <br/>
 add_header Content-Length $content_length;<br/>
 add_header Content-Disposition attachment;<br/>
 }<br/>
<br/>
# В этот локейшн переходим по хедеру X-Accel-Redirect от бэк-енда (см. предыдущий локейшн)<br/>
 # Предполагается, что все раздаваемые файлы лежат в папке /storage<br/>
 location /storage {<br/>
 set $postURI $uri;<br/>
 set $postIP $remote_addr;<br/>
 set $postHOST $host;<br/>
 <br/>
 post_action @postDownload;<br/>
<br/>
root /;<br/>
 internal;<br/>
 }<br/>
<br/>
# по завершению скачивания файла передаем на бэк-енд переменные установленные<br/>
 # в предыдущем локейшыне и отданный объем (в байтах)<br/>
 location @postDownload {<br/>
 proxy_pass <a href="http://127.0.0.1">127.0.0.1</a>:8888/nginxds/postDownload?domain=$postHOST&uri=$postURI;<br/>
 proxy_set_header X-Real-IP $postIP;<br/>
 proxy_set_header BytesSent $body_bytes_sent;<br/>
 }

Comments

[SovGVD]

хабраюзер habrahabr.ru/users/bdmalex/ дал ссылку на post_action =) кажется то что надо на первое время

[homm]

Дайте и нам ссылку.

[SovGVD]

гугл, но вообще мне вот это понравилось abarmotik.livejournal.com/7496.html
# Здесь обрабатывается запрос на скачивание файла.
# урл имеет вид example.com/download/-encrypted-file-id-
location /download {
set $limit_rate 10k;
limit_conn lim 1;

# передаем запрос бэк-енду на расшифровку. В ответе ожидаем хедер X-Accel-Redirect
proxy_pass 127.0.0.1:8888/nginxds/linkDecoder?domain=$host&path=$request_uri;
proxy_set_header X-Real-IP $remote_addr;

add_header Content-Length $content_length;
add_header Content-Disposition attachment;
}

# В этот локейшн переходим по хедеру X-Accel-Redirect от бэк-енда (см. предыдущий локейшн)
# Предполагается, что все раздаваемые файлы лежат в папке /storage
location /storage {
set $postURI $uri;
set $postIP $remote_addr;
set $postHOST $host;

post_action @postDownload;

root /;
internal;
}

# по завершению скачивания файла передаем на бэк-енд переменные установленные
# в предыдущем локейшыне и отданный объем (в байтах)
location @postDownload {
proxy_pass 127.0.0.1:8888/nginxds/postDownload?domain=$postHOST&uri=$postURI;
proxy_set_header X-Real-IP $postIP;
proxy_set_header BytesSent $body_bytes_sent;
}
при окончании скачивания (или если юзер отменил) скрипту уйдет инфа о файле и сколько байт было передано

[homm]

> гугл
С трудом удерживаюсь от выставления вам отрицательной оценки в карму. Автор вопроса сам посылает в гугл на просьбу сделать ответ достоянием общественности.

[VBart]

Не используйте postaction, это очень дурной совет. Смотрите в лог, если клиент файл докачал, то запрос будет логгирован с 200 статусом.

[SovGVD]

а чем именно плох post_action?

[SovGVD]

> С трудом удерживаюсь от выставления вам отрицательной оценки в карму
ваше право, в гугле много интересного с post_action, о котором собственно и не знал =)
а ниже написал вариант который подходит больше всего ;)

Answer 1

[Алексей Сундуков]

С ходу — посмотреть логи.

Comments

[SovGVD]

с ходу не очень красиво — постоянно логи парсить и чистить от отработанного, тоже хотел, пока про post_action не узнал (http://abarmotik.livejournal.com/7496.html)

[VBart]

Парсить логи гораздо дешевле (и единственный верный способ), чем использовать post_action.

[SovGVD]

так и не нашел чем post_action плох, мне надо чтобы при прерывании или окончании загрузки скрипту уходит ID файла и размер загрузки (если = размеру файла (в коде всеравно много проверок, нагрузка не возрастет), то скачали, если не равно => не докачали/не скачали)
с парсингом логов возникает лишняя прослойка, которая собственно парсит и которая удаляет (или смотрит по дате что уже посмотрели) то что уже посмотрели

[VBart]

post_action реализован в nginx как грязный хак и очень дорого обходится. Если возможно его не использовать — лучше его не использовать.

Используйте tail -f и будет вам счастья.

[VBart]

Вот, кстати, похожее недавно в рассылке спрашивали:
mailman.nginx.org/pipermail/nginx-ru/2012-January/045415.html

[SovGVD]

имхо парсинг логов тот же грязный хак и может обойтись еще дороже
дорого в плане сильно возрастает нагрузка при его использовании? или дырка?
опять же имхо лучше использовать нативные варианты, пока он грязный, а позже будет «чистый»

[VBart]

Делая post_action вы фактически удваиваете nginx-у работу. Каждый запрос становится эквивалентен двум запросам. Плюс, во время работы post_action соединение с клиентом будет оставаться заблокированным, т. е. если клиент послал еще один запрос, то он тупо будет ждать, пока завершится обработка post_action.

А учитывая то, как он реализован, существует очень большая вероятность сломать его совсем в очередной версии, если вообще он ещё работает… и нет ли там серьезных багов — неизвестно.

[Алексей Сундуков]

Парсинг логов это не грязный хак, а нормальная сложившиеся практика. По одной простой причине: мы оперируем с двумя независимыми сущностными. Логом и самим сервером. В случае же модуля имеется ПО которое пристыковано к основному коду и еще вопрос, как влияет на стабильную работу последнего.

Дилема логи vs модуль обычно сама отпадает когда продакшен сервер падает на казалось бы ровном месте. Я не к тому, что post_action непременно вот так сразу и упадет, я просто поясняю, почему некоторые админы не использую в продакшене какие-то модули если вопрос можно решить другими методами.

[SovGVD]

тогда наверное сделаю пересылку нужного лога в mysql (примерно как тут blog.sjinks.pro/mysql/502-counting-traffic-for-nginx-part-2/) и уже этот лог свяжу с проектом (по сути мне всеравно табличку делать с полями ID_загрузки, статус_скачивания)

[ainu]

Если логи анализировать не страшно, потому что всё равно на производительность, то и на отдачу файлов по nginx можно забить.
А логи можно прикрутить к серверу (например, download.server.com) и, используя log_format гарантировать, что парсится они будут быстро и просто. На самый крайний случай, можно логи в памяти вести.

[ainu]

Прошу прощения, не логи анализировать, а post_action использовать.

[SovGVD]

в общем в итоге тут все против post_action и ЗА парсинг логов