Если данные идут по http, то вероятно используется
псевдостриминг
Для скачивания файла со смещением существуют заголовки
range.
Если потоковое - то есть
разные протоколы. (в вики далеко не все)
В общем случае - клиент (плеер) умеет составить правильный запрос (с нужными заголовками или параметрами запроса), а сервер вещания умеет выдать файл с нужным смещением.
И да, в начале файла зачастую записаны какие-то мета-данные - общая длительность ролика, битрейт, информация о кодеках и т.п.