Каким образом провайдер может кэшировать трафик?

Question

[AlexPetroff]

Каким образом поставщики оборудования предлагают организовать кэширование трафика, который должен быть по идее зашифрован?

vasexperts_ru/products/cash-server/

Comments

[Валентин]

Ну там что такое DPI почитайте сначала

[AlexPetroff]

Валентин, насколько я понял DPI позволяет определить тип зашифрованного трафика, но не его содержимое. Или я не прав?

Answer 1

[АртемЪ]

Каким образом провайдер может кэшировать трафик?

Никаким. Трафик это движение информации, его невозможно кэшировать, и никто не кэширует.

Кэшируют данные. Шифрование никак не влияет на кэширование.

Comments

[AlexPetroff]

Ролик на ютубе в зашифрованном виде будет выглядеть одинаково со стороны оператора к каждому абоненту?
Если упростить тот момент что видео загружаются частями

[AlexPetroff]

Dr. Bacon, это могут сделать владельцы контента, используя CDN, в данном случае YouTube, посколько являются конечной точкой запроса.

Каким образом провайдер может закешировать ролик, если запрос и данные должны быть зашифрованы?

[AlexPetroff]

Dr. Bacon, поставщик оборудования в первом посте - предлагает решения для провайдера.
Я и спросил как это возможно при использовании абонентами этого провайдера https

[АртемЪ]

SergeyDeryabin,

Ролик на ютубе в зашифрованном виде

А кто их шифрует? И зачем провайдеру их кэшировать?

Каким образом провайдер может закешировать ролик, если запрос и данные должны быть зашифрованы?

Нет никакой разницы какие данные кэшировать зашифрованные или нет.

[AlexPetroff]

АртемЪ, шифруются данные при передаче от сервера клиенту по https
Какой смысл кэшировать провайдеру такие данные?

[АртемЪ]

SergeyDeryabin,

Какой смысл кэшировать провайдеру такие данные?

Никакого разумеется.

[AlexPetroff]

АртемЪ, это и был изначальный вопрос. Как поставщики оборудования предлагают кэшировать видео, если трафик зашифрован

[АртемЪ]

SergeyDeryabin, Нет, вопрос был другой -

Каким образом провайдер может кэшировать трафик?

А по поводу -

Как поставщики оборудования предлагают кэшировать видео

Не слышал чтобы поставщики оборудования предлагали кэшировать видео.
Если же все таки надо кэшировать видео - то кэшируется точно так же как и другие данные.
Ну и ежу понятно что смысла что-то кэшировать провайдеру нет.

[AlexPetroff]

Dr. Bacon, они явно указывают YouTube. А у YouTube установлено HSTS - только https. Получается они лукавят или https трафик просматривается?

[АртемЪ]

SergeyDeryabin, В посте оборудование для кэширования.
При чем тут ютуб, и откуда тогда вопрос про то как провайдер сможет кэшировать трафик.
Ничего не понятно.

Ну купил, оборудование, поставил, настроил и оно кэширует то что задал, и все.
Что тут непонятного.
Если надо кэшировать https - будет кэшировать https - зжелезяке нет никакой разницы какие именно пакеты в кэш отправлять. Шифрованное или нет - без разницы, она же не читает содержимое, а кэширует.

[AlexPetroff]

Dr. Bacon, точно, про ютуб сам додумал видимо

[AlexPetroff]

АртемЪ, насколько я себе это представляю, для провайдера имеет смысл делать кэширование у себя для экономии входящего канала/трафика.
Если нет возможности идентифицировать данные и выделить повторяющиеся, при использовании абонентами https - смысла в этом (наверняка не дешевом) модуле нет абсолютно. Вот я и хотел понять, может быть они таки умеют разбирать трафик.

[АртемЪ]

насколько я себе это представляю, для провайдера имеет смысл делать кэширование у себя для экономии входящего канала/трафика.

Такое бывает нечасто, в большинстве случаев не имеет смысла, расходов больше на железо, чем реальной экономии трафика.
Тем более кэширование видео.

может быть они таки умеют разбирать трафик.

Ну раз кэшируют, значит умеют. Просто https шифрованный, там надо сертификат ставить, зачем им такие заморочки?

Answer 2

[CityCat4]

Вы бы это... сначала терминологию что ли подтянули...

Траффик - это процесс движения. Неважно какого - движение автомобилей по дороге тоже называют "траффик"
Кэширование - процесс накопления промежуточных данных в некоей области с относительно быстрым доступом (по сравнению с поиском обьекта в его обычном размещении).

Как видите, принципиально нет и не может быть связи :) Кэшировать можно обьект - данные, ящики, автомобили.

Кэширующий сервер обычно построен по принципу помежуточного хранения - он накапливает данные, проходящие через него и наиболее часто запрашиваемые отдает клиенту из своего хранилища (кэша), а не качает с оригинальной точки хранения. Провайдер запросто может поставить такую фигню у себя - для того, чтобы ускорить загрузку данных - если сто тыщ людей качают один ролик - то кэширующий сервер закачает его себе один раз, а на прочие 99999 запросов его отдаст из своего кэша :)

Comments

[AlexPetroff]

Кэширующий сервер обычно построен по принципу помежуточного хранения - он накапливает данные, проходящие через него и наиболее часто запрашиваемые отдает клиенту из своего хранилища (кэша)

Для его работы нужен доступ к данным. Как это реализовано с https?

[Pavel-475275]

Вы бы тоже подтянули кое-что... Один кэш-сервер не справится с такой нагрузкой (99 999 одновременных скачиваний), потребуется много серверов. Как правило, CDN ставят на точках обмена трафиком.

Пример работы кэш-серверов YouTube: пользователь запрашивает видео, которого ещё нет на кэш-сервере, его запрос проходит через кэш-сервер или цепочку кэш-серверов (если несколько уровней кэша) в основное хранилище, откуда это видео отправляется запросившему через кэш-сервер, попутно кэшируясь (то есть по факту к основному хранилищу обращается кэш-сервер, а не пользователь напрямую), в том числе и на других кэш-серверах (по мере новых запросов). Видео может кэшироваться кусками, а не сразу целиком (например, если видео весит 4 ГБ, то пока оно закэшируется полностью всем бы пришлось ждать (например, минуту) или тянуть из-за бугра).

[Pavel-475275]

AlexPetroff, Вы заметили неточности в его сообщении? Читайте мой комментарий.

[CityCat4]

Pavel-475275, О, я наткнулся на граммар-наци? Я описывал принцип, а не конкретные реализации. (И надо сказать, никогда не задумывался о том, как работает труба - мне оно, скорее всего не пригодится)

[- -]

CityCat4, Так там речь была не про грамматику, а про техническую часть.

Answer 3

[Руслан]

Хранить трафик всех пользователей невозможно записывать трафик будут потенциально неблагонадежных личностей например людей которые привлекались за компьютерные преступления , людей из оппозиции ,да и всех тех кто воду мутит.

Расшифровать зашифрованный трафик невозможно они просто смотрят факт активности

Comments

[Pavel-475275]

Возможно. Если что, поправки по хранению ВСЕГО трафика приняли за несколько лет до Вашего комментария.