Как провайдер определяет просмотр видео на ютуб?

Question

[gogalikob4]

Многие провайдеры, например, мобильные сейчас предоставляют такую услугу, как "безлимит на просмотр видео на youtube.com". Позвонив и уточнив детали мне сообщили, что трафик не будет расходоваться именно на просмотр видео. Т.е. если просто серфить по сайту, то трафик будет расходоваться. Вот, например, типичная услуга у tele2. А во вкладке прочие условия пишут, я процитирую:

В рамках услуги безлимитно предоставляется только видеотрафик, при этом обновление приложения, навигация по сайту и приложению будут расходовать включенный в тариф пакет интернет трафика.

Спрашиваю по тому, что за эту услугу, при просмотре в браузере (а в браузере они тоже разрешают) у меня, как я не пытался настроить свой браузер трафик все равно расходоволся. А в связи с эти вопрос: как именно провайдер может определить, что я просмтриваю потоковое видео, ведь для потокового видео, хоть это происходит через JS, браузер обращается к домену youtube.com? Вроде никакого специфического домена именно для потока у ютуба нет. И само соеденение организовано через https.
Или же у ютуба есть специальный отдел для потокового видео? Кто знает, поделитесь хотя бы поверхностно)
Ну и можете дать пару советов, как поднастроить браузер или что проверить при обращению к ютубу?

Спасибо

Comments

[Ruslan-Strannik]

а другой браузер пробовал? хром например

[gogalikob4]

Ruslan-Strannik, Да, пробовал.

Answer 1

[Hanneman]

Это достигается с помощью DPI (для выявления и подавления нежелательного трафика, к примеру, голосовую терминация через Viber, торрентов и прочего). Что касается чраджинга (оплаты трафика), то элементарно по hostname/IP. Youtube, Facebook и прочие имеют договор с оператором - они предоставляют все свои идентификаторы ресурсов, трафик с которых оператор оценивает в 0.

Выношу комментарий в ответ, раз уж так далеко зашло
gogalikob4, в комментарий это не уложить. Я еще раз говорю, классификация трафика происходит на GGSN/DPI у оператора (по IP адресам). GGSN/DPI обращается по протоколу Gx в PCRF, чтобы узнать по какой Rating Group провести этот трафик для конкретного абонента/клиента. Если на PCRF есть для конкретного абонента запись в профиле (пакет "Безлимитный Фейсбук", к примеру), то он посылает ответом PCC-Rule Install по Gx. GGSN/DPI через mapping Rule->Rating Group определяет нужный RG и использует его в протоколе Gy, который связывает GGSN/DPI и OCS (Online Charging System), если контроль оплаты подразумевает онлайн-режим (альтернативно, пишется CDR, в котором есть эти данные, и который уходит в оффлайн-биллинг). OCS же (или оффлайн-биллинг) для этой RG имеет выставленной цену 0.

Вот так происходит на самом поверхностном уровне. Но если вас интересует все это, тогда вам по специальности уже надо интересоваться и читать специальную документацию (протоколы Gx/Gy/Sy/Gn/GTP, принципы построения рейтинга трафика).

Что касается написанного:

spoiler

Расходование пакета интернета происходит, если на сайте или в приложении «Youtube» открываются страницы, содержащие ссылки и для отображения которых требуется соединение с внешними ресурсами (другими сайтами), либо для доступа в интернет используется браузер, сжимающий трафик, или прокси-сервер, либо при просмотре используют компрессию данных, анонимайзеры и VPN

Понятно же, что трафик бесплатен, если он идет с IP Youtube. Если вы в аппликации откроете каким-то образом контент с другого ресурса, то он не будет с этого IP - вот потому такой трафик будет платный. То же самое про VPN - VPN-сервер будет получать от Youtube, а ваше устройство с VPN-сервер, IP которого не IP Youtube. В отношении прочих прокси. сжимателей, анономайзеров, то же самое - вы не будете получать контент с IP Youtube, и поэтому он будет платным.

Comments

[gogalikob4]

Спасибо за ответ, но там же написано

К шифрованным соединениям (HTTPS) применение техники DPI затруднено.

[Hanneman]

gogalikob4, затруднено, но не совсем чтобы невозможно. Более того, это относится к вопросу о HTTPS. Что же касается вашего вопроса, то я ответил, что банально по IP идет классификация трафика для оценки. Это работает именно так у операторов. Есть такое понятие, как Rating Group, которое применяется для классифицированного трафика: к примеру, "общий трафик" интернета это RG-1, а трафик с IP-адресов Facebook - RG-200. Управлением того, кому можно "юзать" Facebook с нулевой оплатой, занимается логический элемент по названием PCRF.

[gogalikob4]

Hanneman, Что скажете о ниженаписанных ответах и комментариях, все таки dpi или отдельный ресурс?)))

[Hanneman]

gogalikob4, в комментарий это не уложить. Я еще раз говорю, классификация трафика происходит на GGSN/DPI у оператора (по IP адресам). GGSN/DPI обращается по протоколу Gx в PCRF, чтобы узнать по какой Rating Group провести этот трафик для конкретного абонента/клиента. Если на PCRF есть для конкретного абонента запись в профиле (пакет "Безлимитный Фейсбук", к примеру), то он посылает ответом PCC-Rule Install по Gx. GGSN/DPI через mapping Rule->Rating Group определяет нужный RG и использует его в протоколе Gy, который связывает GGSN/DPI и OCS (Online Charging System), если контроль оплаты подразумевает онлайн-режим (альтернативно, пишется CDR, в котором есть эти данные, и который уходит в оффлайн-биллинг). OCS же (или оффлайн-биллинг) для этой RG имеет выставленной цену 0.

Вот так происходит на самом поверхностном уровне. Но если вас интересует все это, тогда вам по специальности уже надо интересоваться и читать специальную документацию (протоколы Gx/Gy/Sy/Gn/GTP, принципы построения рейтинга трафика).

[gogalikob4]

Hanneman, Я извиняюсь, но еще тогда можно 1 воспрос?)
Вот все термины, какие вы употребляли (GGSN, GTP и пр.) - это все относится к мобильным провайдерам.
А что касается обычных, там эта техника применима ?

[Hanneman]

gogalikob4, да, применима. GGSN по функционалу - это роутер, а GGSN - это всего лишь название функционального узла, больше встречающегося в описаниях схем мобильных операторов.

Здесь есть один момент, который надо принимать во внимание: "обычные" провайдеры не применяют методику оценки по трафику в большинстве случаев - т.е. вы платите $20 за "домашний" интернет, и никого не интересует, сколько вы скачиваете и на какие сайты ходите - вы платите фиксированно и тема онлайн-чарджинга практически не задейстованана в таких случаях (а поэтому Gy отпадает) - всего лишь ежемесячный биллинг: есть на счету деньги - снимаем, нет - посылаем команду, которая блокирует ваш порт (либо внешнюю маршрутизацию, оставляя путь только для заглушки-страницы с информацией/оплатой).

"Обычный", а именно Broadband (ADSL/WDSL и прочее) сервис - это такой же метод доставки сервиса и его контроля. Как в мобильных сетях скорости регулируются PCRF/PCEF, так в Broadband применяются те же компоненты - иначе как у вашего соседа скорость подключения 50 Мб\сек, у вас -30? Не в толщине же кабеля дело.

P.S. Протоколы Radius (AAA), Diameter (Gx/Sh/Sy/Gy и прочие), конечно же применяются, если структура Broadband основана на них. Есть и альтернативы, само собой, как и в мобильной связи. Но эти предпочтительны.

Answer 2

[15432]

Возможно, речь об этом
https://ru.wikipedia.org/wiki/Google_Global_Cache

Comments

[ky0]

Их же, вроде, кровавая гэбня запретила как несертифицированное? Разве нет?

[15432]

ky0, на территории РФ запретили, но кто их там знает, этих tele2, может в ближайшем зарубежье сервер. Иначе не могу придумать объяснения о "видео с YouTube бесплатно", это же тонна трафика

Answer 3

[ky0]

Есть подозрение, что для отдачи видео у Ютуба просто отдельные диапазоны IP-адресов, которые больше ни для чего не используются. Провайдер о них знает и трафик с них не чарджит.

Comments

[gogalikob4]

Ну вот тоже так подумал, ну тогда почему у меня такие проблемы возникают с расходованием трафика, это же не очень сложно определить?

[granty]

Нет, про просмотре роликов youtube используются домены www.youtube.com, i.ytimg.com, yt3.ggpht.com, yt4.ggpht.com, i1.ytimg.com, i9.ytimg.com, s.ytimg.com, lh3.googleusercontent.com, lh4.googleusercontent.com, lh5.googleusercontent.com, lh6.googleusercontent.com.
Их IP-адреса постоянно меняются (раз в несколько дней) и прыгают по разным подсетям.

Answer 4

[АртемЪ]

Как провайдер определяет просмотр видео на ютуб?

По адресу загрузки, по типу загружаемых данных.

Спрашиваю по тому, что за эту услугу, при просмотре в браузере (а в браузере они тоже разрешают) у меня, как я не пытался настроить свой браузер трафик все равно расходоволся.

Логично. Зачем провайдеру столько трафика пускать мимо кассы. Тем более мобильного трафика, он подороже будет чем интернет трафик.

Ну и можете дать пару советов, как поднастроить браузер или что проверить при обращению к ютубу?

Это уже к провайдеру. Хотя маловероятно что он поможет - ему это невыгодно.

Comments

[gogalikob4]

По адресу загрузки, по типу загружаемых данных.

Там же https !

[АртемЪ]

gogalikob4,

Там же https !

А какая разница?

[gogalikob4]

АртемЪ, Ну ведь контент, в том числе и потоковое видео должны быть зашифрованы?

[freeExec]

АртемЪ,

Логично. Зачем провайдеру столько трафика пускать мимо кассы.

Не то что бы столько. Ведь видео-трафика на порядки больше, чем текста страниц ютуба.
gogalikob4,

Там же https !

Вам бы стоило открыть консль разработчика и не задавать вопросов про адреса

https://r2---sn-gvnuxaxjvh-0ate.googlevideo.com/vi...

[gogalikob4]

Т.е. правильно я понимаю, что видеопоток идет с
***.googlevideo.com
? И провайдер банально не считает этот трафик?

[АртемЪ]

gogalikob4,

Ну ведь контент, в том числе и потоковое видео должны быть зашифрованы?

Они и зашифрованы. Провайдеру не интересно их содержимое, достаточно классифицировать тип трафика. А для этого не обязательно трафик расшифровывать, читать его содержимое, и.т.п.
Хватает косвенных признаков.

[АртемЪ]

@freeExec

, Не то что бы столько. Ведь видео-трафика на порядки больше, чем текста страниц ютуба.

А я про видеотрафик и говорю.

Там все проще.
Продаешь услугу чтобы видеотрафик не тарифицировался, Потом продаешь видеотрафик. Двойная выгода.

[gogalikob4]

Так что в итоге, поток идет по ***.googlevideo.com и провайдер их просто не считает?
Или поток идет по yotube.com и классифицирует 'тип трафика' ?

[АртемЪ]

gogalikob4, Не факт, вам просто привели примеры как можно.
А как именно данный конкретный провайдер определяет тип трафика в конкретном случае и какие критерии при этом использует - это знает только сам провайдер. Как захочет так и будет считать.

И как правило считает он так, как ему выгодно. Ибо провайдер это коммерческая организация, и прибыль для него главное.