Возможно ли в nginx хранить кэшированный ответ сжатым?

Question

[Вайладион Гогназдиак]

Доброго времени суток.
Имеется кэширующий nginx. Кэшируются json-ответы API.

1. Возможно ли их хранить сжатыми на диске?
2. Если возможно, то в случае если Accept-Encoding отсутствует, разожмет ли их nginx для отдачи юзеру?

Comments

[mureevms]

Выглядит подходящим https://habr.com/ru/post/428127/

[Вайладион Гогназдиак]

mureevms, так оно +- так и работает у меня, но кэш то несжатый лежит

Answer 1

[ky0]

Можно хранить в файловой системе, поддерживающей сжатие на лету.

Comments

[Вайладион Гогназдиак]

Можно, но увы задачу не решает.
Идея в том, что мы не занимаемся сжатием на лету.
99% запросов приходят с Accept-Encoding: gzip, поэтому выгоднее взять сразу сжатое из кэша и отдать, чем взять из кэша несжатое, сжать и отдать.

[Армянское Радио]

Вайладион Гогназдиак, вывод о выгоде получен умозрительно или на основе тестов?

[Вайладион Гогназдиак]

Армянское Радио, на основе анализа запросов в access_log, их кол-ва, требуемого rps в proxy 500 rps / режиме кэша ( 2500 rps ), среднего размера ответа API ( 12 Kb JSON )

примерно вот так

Answer 2

[Александр Карабанов]

Как вариант gzip_static

Comments

[Вайладион Гогназдиак]

файлы и кэшированные ответы бэка это таки немного разные вещи

[Александр Карабанов]

Вайладион Гогназдиак, на диске и то и другое выглядит одинаково :-)

В целом не встречал, чтобы кто-то переживал на счёт сжатия. Можно снизить коэффициент сжатия, скажем до 3 и не сжимать ответы меньше килобайта или заменить gzip на brotli если хочется попробовать что-то оптимизировать.

А вообще есть BSON и ProtoBuf если хочется кардинальной оптимизации - тут сжатие вовсе будет ненужно (как говориться зачем оптимизировать то, от чего можно отказаться).

[Вайладион Гогназдиак]

Александр Карабанов, да я собственно из-за него тоже бы не переживал, но в текущей ситуации CPU становятся ресурсом, а если учесть, что такой кэш не один это начинает уже стоить денег.

Что касается BSON - тут бабушка надвое сказала.
Protobuf был бы вариантом, но на него нет человекочасов :(