Как лучше сделать кеширование больших файлов (50 Гб+) с помощью nginx?

Question

[sashamaro]

Обычный кеш nginx не подойдет, так как сначала сервер должен получить весь ответ, а только потом закешировать. Каким образом можно такие файлы кешировать если используется Accept-Ranges: none?

Comments

[Lynn «Кофеман»]

nginx.org/ru/docs/http/ngx_http_slice_module.html

Answer 1

[Пума Тайланд]

Вообще не очень понятно зачем их кешировать если их много
В целом проще всего имеет локально набор самых популярных файлов и отдавать их нгинксом напрямую
Это имеет и экономический эффект и хорошо скажется на скорости отдачи

Comments

[sashamaro]

Файлов может быть много и желательно кешировать только часть файла.

[Пума Тайланд]

sashamaro, ну если как вы утверждаете у вас нет популярных файлов и все размазано по запросам то нет смысла в кешировании, оно актуально только если есть какие то популярные запросы

[sashamaro]

Пума Тайланд, это Вы утверждаете! Проблема как раз в популярных файлах. Согласен что можно сделать список популярных файлов, но не хотелось бы хранить весь файл, так как сервер кеширования не один.

[Пума Тайланд]

sashamaro, у вас бывают какие то популярные куски файлов что ли? Или пользователи качаю т разные куски с разных серверов всегда?
Мне кажется вы немного сами выдумываете себе проблемы

[sashamaro]

Пума Тайланд, начало файла всегда популярней остальной части, Вас пригласили как эксперта, а Вы такие вопросы задаете.

[Пума Тайланд]

sashamaro, просто если у вас кусок файла и вы его отдаете то при окончании нгинкс сделает отлуп.
Традиционная рабочая схема в этом бить видео на куски, много где встречал такой вариант

[sashamaro]

Выбора особо нет, похоже придется бить, спасибо.

Answer 2

[Александр Аксентьев]

В чем смысл кеширования этих файлов?
Быстрее чем с диска могут отдаваться только из рамы.
У вас рамы на много файлов по 50 гигов хватит?

Трафик это не уменьшит, скорости не прибавит т.к. канал всё равно не выдаст скорость с которой можно читать из рам.

Так что задача в текущем виде без подробностей не имеет смысла.

Comments

[sashamaro]

Я не говорил о кешировании в раму, обычный кеш на диск, что то вроде реплики популярных файлов.

[Александр Аксентьев]

sashamaro, кеш с диска на диск? В чем суть-то? что это даст?

Или между серверами или что?

[sashamaro]

Александр Аксентьев, я же написал, это как зеркало, только не всего сервера, а только части.

[Александр Аксентьев]

sashamaro, ну это скорее шардинг чем кеширование тогда.
Просто копировать любым удобным способом файлы между серверами и раздавать.

Или использовать какую-нибудь GlusterFS для прозрачной синхронизации.