Происходит ли излишнее кэширование в nginx, если два пользователя одновременно запросили один и тот же файл?

Question

[ggagnidze]

Существует кэширующий сервер на базе nginx.
Если клиент А обратился за файлом, которого не было на в кэше сервера и в момент загрузки этого файла клиент Б обратился за тем же файлом — будет ли файл загружаться два раза? Если да, стоит ли исправлять это через proxy_store?

Answer 1

[ggagnidze]

Проблема в возрастающей нагрузке на диски (и обшие тормоза на этом фоне). Места пока хватает.

Comments

[Степан]

Файлы в среднем какого размера?

Если ресурсы позволяют, можно кэшировать файлы на уровне FS. Ставим по максимуму оперативки, создаем раздел, и там храним файлы к которым частые обращения. В таком случае нагрузки на диски почти не будет.
У меня на одной железке 20Тб дисков, и 60гб раздел с оперативки для кэша. Нагрузки на диски почти нет.

[stavinsky]

можно еще про рамдрайв не забывать, или про кеш в какой-нибудь редис

[Степан]

stavinsky, вариант нужно подбирать в зависимости от типа контента.

[stavinsky]

L3n1n, смею предположить что и железо надо подбирать от типа контента, а еще файловую систему, способ хранения файлов, способ отдачи, время хранения. Короче на определенном этапе роста любого проекта надо переделывать все заново. Ну или почти все.

Answer 2

[VBart]

nginx.org/r/proxy_cache_lock/ru

Если включено, одновременно только одному запросу будет позволено заполнить новый элемент кэша, идентифицируемый согласно директиве proxy_cache_key, передав запрос на проксируемый сервер. Остальные запросы этого же элемента будут либо ожидать появления ответа в кэше, либо освобождения блокировки этого элемента, в течение времени, заданного директивой proxy_cache_lock_timeout.

Answer 3

[Степан]

Это вроде как и не исправите. Есть только два варианта:
1. По больше места для кэширования
2. Все кто запросят файл в момент его закачки первым запросом будут ждать пока сервер не закэширует файл и только потом отдавать.

На SSD такое дело крайне не рекомендую ставить. На личном опыте убили 70% жизни SSD на больших файлах.

Answer 4

[ggagnidze]

Ну заказчик решил не заворачиваться и на предложения отвечал отказом (еще на стадии формирвоания системы). Сказал использовать что есть :)