Почему не существует туннеля в котором трафик сжимается?

Question

[IPMI]

Процессоры нынче мощные поэтому должны справляться с сжатием но почему-то туннеля такого нету, только шифрование.
То что есть уже в приложениях сжатие это не совсем то, я думаю что приложение не эффективно сжимает.
Например сервер отсылает пакет с информацией с диапазоном веса 32-128кб каждую секунду, сервер работает на протоколе tcp.
Кто запускал игровые сервера тот знает как много интернет полосы сервер может потреблять.

Comments

[aleks-th]

Кому нужно сначала сжимает, а потом отправляет сжатые данные.
Нафига в протоколы то сетевые лезть, они не для этого нужны.

Ну а по поводу кривых приложений которые по твоему мнению не так работают так это проблема создателей этих приложений, к ним и вопросы почему так сделали.
:)

[IPMI]

aleks-th, wireguard только шифрование делает, а если бы он умел сжимать трафик чтобы туннель больше данных мог через себя проносить при интернет канале 100mbps на vds и 100mbps на игровом сервере.
Antiddos сервисы предлагают подключение защиты через L3 tunnel либо проксирование, только они забыли про параметр "сжатие", значит на тарифе с 100mbps можно теоретически больше выдержать онлайна если настроить сжатие, вот без сжатия один player на сервере занимает 128кб/с полосы но если запустить сжатие базовое которое воткнули в сетевой движок то потреблять будет 96кб/с.

[Василий Банников]

То что есть уже в приложениях сжатие это не совсем то, я думаю что приложение не эффективно сжимает.

Это ещё почему?

[Василий Банников]

IPMI, сжатие, как бы мы не хвалили современные процессоры, всё равно немало дополнительной памяти и времени процессора. Некоторые задачи к этому критичны - те же игры, которые ты упомянул.
Так что сжатие - это про компромисс между нагрузкой процессора и пропускной способностью канала.

+ Фиг ты на канальном уровне сжатие включишь, тк разные приложения шлют разные данные и для разных приложений может оказаться эффективным разный алгоритм, а приложения, как ты уже пишешь - и так сжимают данные, если им это надо и вот вроде бы полезное сжатие на канальном уровне превращается просто в пустую трату ресурсов.

+ Это нужно поднимать не просто какой-то балансировщик / прокси, а туннель со входом и выходом, что добавляет две дополнительные точки отказа и два места, где увеличивается задержка даже без сжатия.

+ Это получается надо каждому клиенту такой тоннель ставить

"сжатие", значит на тарифе с 100mbps можно теоретически больше выдержать онлайна если настроить сжатие, вот без сжатия один player на сервере занимает 128кб/с полосы но если запустить сжатие базовое которое воткнули в сетевой движок то потреблять будет 96кб/с.

Ну вот сэкономили мы на пропускной способности (и то не гарантированно) и что дальше? А дальше мы получаем гарантированную повышенную нагрузку на сервер и увеличение пинга

[IPMI]

Василий Банников, много ядер сейчас не проблема иметь, тот же ryzen 9 7950x имеет 32 виртуальных ядер a amd epyc 7713 имеет до 128 виртуальных ядер - так что процессоры должны управиться с сжатием 1000mbps трафика.
Не знаю есть ли смысл от доп L3 cache в этом но в играх amd ryzen 9 9950x 3D cache больше fps выдаёт чем просто amd ryzen 9 9950x .

[Василий Банников]

IPMI, как я уже написал - задачи есть разные и сжатие всё ещё не бесплатное.
Если для твоей задачи сжатие идёт только на пользу, то отлично

Answer 1

[Saboteur]

На каком уровне сжимать?

На уровне tcp ? так а смысл, tcp не знает нужно сжимать пакет или нужно побыстрее его доставить.
Например гигабит траффика, попробуй успеть сжать. Какими ресурсами жать будешь? cpu? А если это трафик через маршрутизатор проходит, готов к тормозам?

На физическом уровне сжатие существует. Многие модемные протоколы поддерживают примитивное потоковое gzip сжатие. В этом случае сжатием занимается процессор модема, но там и скорости небольшие, 115200 вроде максимум.
Некоторые серверные сетевые карточки могут сжимать на ethernet уровне, но надо чтобы с двух сторон оборудование поддерживало. Там карточки стоят от 100$

А на других уровнях, нет смысла.
Гораздо проще сжатие организовать уже на прикладном уровне самого протокола. Те же игровые сервера и так обычно стараются свои данные делать компактными, а такие данные уже и сжимать особо не выйдет.

Например сервер отсылает пакет tcp с информацией с диапазоном веса 32-128кб каждую секунду.

Это какие такие игровые сервера столько шлют? Игровые сервера, для того, чтобы игра была интерактивная, должны слать часто в любом случае, информация же меняется. Поэтому пакеты должны быть маленькие но много

Comments

[IPMI]

Minecraft сервер потребляет ~128кб интернет полосы исходящей, входящий канал не так сильно забивает, в основном исходящий канал сервер забивает ~128кб, если бегать по миру то диспетчер задач рисует до 1mbps занятого исходящего канала (наверное т.к мир сгенерирован но не прогружен).
"серверные сетевые карточки могут сжимать на ethernet уровне" - это какие, название модели есть ну или хотя-бы бренда какого?

[Saboteur]

IPMI, серверные сетевые карточки со сжатием для вас бесполезны. Они полезны в локальной сети, чтобы связывать сервера. А игроки не будут к вам подключаться с дорогого сервера

У интела такие целые серии
https://www.intel.com/content/www/us/en/products/d...

А так - можно уменьшать видимую дистанцию, дистанцию симуляции, смотреть может моды какие-то много жрут. Или раскидывать игроков по разным серверам, есть моды

[IPMI]

Saboteur, Бесполезны даже в случае схемы сети: домашний компьютер создаёт туннель до компьютера размещеного в датацентре?
Трафик домашнего компьютера ходит через сеть датацентра при помощи компьютера размещеного в датацентре.

[IPMI]

Saboteur, оптимизация трафика

Answer 2

[Zzzz9]

Почему не существует туннеля в котором трафик сжимается

OpenVPN
Параметр comp-lzo

Comments

[Drno]

SSTP \ ocserv параметр вроде тот же)