Как получить m3u8 файл с сайта?

Question

[Alex]

Всем привет! Подскажите, пожалуйста, как мне получить рабочий m3u8 файл или целый видеоролик?
Есть сайт, который возвращает

вот такое

#EXTM3U
#EXT-X-TARGETDURATION:20
#EXT-X-ALLOW-CACHE:YES
#EXT-X-PLAYLIST-TYPE:VOD
#EXT-X-VERSION:3
#EXT-X-MEDIA-SEQUENCE:1
#EXTINF:20.000,
VIDEOID.mp666/Frag-1-v1-a1
#EXTINF:20.000,
VIDEOID.mp666/Frag-2-v1-a1
#EXTINF:20.000,
VIDEOID.mp666/Frag-3-v1-a1
#EXTINF:20.000,
VIDEOID.mp666/Frag-4-v1-a1
#EXTINF:20.000,
VIDEOID.mp666/Frag-5-v1-a1
#EXTINF:20.000,
VIDEOID.mp666/Frag-6-v1-a1
...
#EXT-X-ENDLIST

В одном из фрагментов, которые видны во вкладке network и выглядят так Frag-1-v1-a1, в поле Request URL записано это: https://какой-то_cdn.com/большой_путь_к_файлу/VIDE... и т.д

Так можно скачать видео через Streamlink
streamlink --http-header Origin=https://название_сайта "hls://https://какой-то_cdn.com/большой_путь_к_файл..." best -o свое_название.ts,
где в --http-header Origin=https://название_сайта указывает тот сайт, что указан в поле origin в браузере. При этом полностью удаляются расширения и остается только название видео (VIDEOID).
Но через Streamlink файл скачивается какой-то кривой. Весит гораздо меньше, все видео в артефактах, звук заикается.

Есть другой сайт, который тоже возвращает файл название_файла.m3u8. Там записано что-то

вроде этого

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:20
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:18.644867,
название_видео0.ts
#EXTINF:1.960422,
название_видео1.ts
#EXTINF:10.219222,
название_видео2.ts
#EXTINF:10.386067,
название_видео3.ts
#EXTINF:9.009600,
название_видео4.ts
#EXTINF:11.178578,
название_видео5.ts
#EXTINF:10.594622,
название_видео6.ts
...
#EXT-X-ENDLIST

В одном из фрагментов, которые видны во вкладке network и выглядит так название_видео0.ts, в поле Request URL записано это https://какой-то_сервер.cc/путь_к_файлу/название_в....
Если я скопирую ссылку файла m3u8 и вставлю в VLC, то у меня запускается нормальное видео.
Если я скопирую строчки из m3u8, создам у себя на компе m3u8 файл, вставлю туда строчки, которые указал выше, но при этом добавлю тот же сайт, что и в Request URL и получу что-то

вроде этого

#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:20
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:18.644867,
https://какой-то_сервер.cc/путь_к_файлу/название_в...
...
#EXT-X-ENDLIST

, то и этот m3u8 файл будет работать.
Но проблема в том, что такой же способ с добавление названия сервера и расширения .ts не срабатывает с первым сайтом.
Эти сайты отличаются тем, что у первого сайта не показывается расширение у плейлиста и фрагментов, а у второго они есть. Если я открою ссылку на плейлист из первого сайта, то я получаю 403 ошибку, а у второго скачиваю m3u8 файл.
Плюс первый сайт возвращает ошибку 403, если я обращаюсь к нему через curl --verbose https://название_сайта/путь_к_файлу/файл, но если я сделаю такой же запрос, но с curl -H "Origin: https://сайт_из_поля_origin", то я получаю, то же самое, что и в спойлер 1.

Как из всего этого можно получить нормальный, рабочий m3u8 файл с первого сайта? Streamlink же как-то частично получает видео.
Надеюсь, кто-нибудь дочитал до конца.

Comments

[nokimaro]

Повторяю, это задача, а не вопрос.
Сайты которые вы пытаетесь спарсить активно противодействуют этому, и поэтому причина может быть в чем угодно, начиная от проверки юзер агента и кончая привязкой фрагментов к ip или коротким временем жизни ссылки.

Answer 1

[rPman]

Попробуй сконвертировать m3u8 файл в готовый видеофайл с помощью ffmpeg (он умеет загружать), чтобы не перекодировало указывай кодек -c copy

Если сайт смотрит на http заголовки, который отправляет плеер/качальщик, и блокирует их, то очевидно их придется вручную подставлять, копируя из девконсоли браузера, один раз скопируй команду загрузки куска видео затем напиши скрипт, загружающий этой командой все куски локально и собирай с помощью ffmpeg

Comments

[Alex]

Если я в ffmpeg вставляю это ffmpeg -i ссылка_на_файл.m3u8 -c copy -bsf:a aac_adtstoasc video.ts, то я получаю ошибку HTTP error 403 Forbidden. Запрос не проходит или что, я не знаю. Я не разбираюсь особо в этом. Но такая же ошибка и через curl и streamlink бывает. Но там мы указываем доп параметр типа -H "Origin: название_сайта_из_origin" или --http-header Origin=название_сайта_из_origin. Так они работают. Т.е. он смотрит откуда запрос идет и что.
А как запихать в m3u8 файл типа Origin="название_сайта_из_origin я не знаю. Это ты, наверное, и имел ввиду, когда говорил про заголовки.

[rPman]

это значит сайт защищается от копирования, проверяя заголовки запроса (куки например), в браузере их устанавливает javascript а ffmpeg и твой curl по умолчанию нет, делай как я в ответе написал

ты не сможешь в m3u8 файл вставить желаемое (можно свой сервер поднять который будет запросы дополнять нужными origin, тогда ссылки в этом файле уже будут не на оригинальные а на твой сайт, но мне кажется тебе просто видео нужно скачать да?)

[Alex]

rPman, знать бы еще, куда и что подставлять. Я не разбираюсь во всем этом. Да, мне надо просто скачать видео. Сейчас для примера взял ссылку на m3u8 файл со второго сайта, вставил в ffmpeg как в первый раз и все без проблем получилось.

А в ffmpeg я могу передать параметр типа --http-header Origin=название_сайта_из_origin как в streamlink, но только для ffmpeg, чтобы запрос тоже как бы шел от название_сайта_из_origin.

[rPman]

как и во всем, либо ты разбираешься сам, либо ищешь кто за тебя будет все делать.

я вроде описал достаточно простой способ, даже особо программировать не надо

тебе надо из m3u8 файла сделать список ссылок на куски, делай как можешь, хоть в экселе, хоть вручную, хоть програмку из трех строчек напиши

затем копируй вручную из браузера из дев-консоли команду curl, и подставь ее вызов к каждой ссылке, подменяя ссылку этой скопированной команды на в каждой строчке свою, и получишь bat файл для загрузки кусков видео, затем подсовываешь m3u8 (чтобы ссылок не было только имена файлов) ffmpeg-у чтобы все файлы в текущем каталоге были, и получаешь собранный файл (вообще этот m3u8 на этом этапе сможет проиграть vlc)

[Alex]

rPman, спасибо. Буду пытаться разобраться с тем, что ты написал)

[ThunderCat]

NJohnDoe, по сути вам нужно отделить действия по получению m3u8 (например курлом, так как он умеет загаловки) и действия по получению уже из него видео с помощью ффмпег.

[Alex]

ThunderCat, для меня это все супер непонятно.
Я скопировал curl команду от файла, который как бы должен быть основным m3u8 файлом.

Скопированная команда

Если я ее ввожу в консоли, то она мне возвращает это

Результат команды

К m3u8 файлу я вставил ссылки на cdn. Мой m3u8 выглядит так

m3u8 с ссылками на cdn

А что дальше делать, я не понимаю... Я даже не уверен, что хоть что-то правильно сделал.

[rPman]

что то сломалось под windows (ссылка генерируется рабочей для linux), где то ковычки не поставились, либо замени все двойные ковычки на одинарные, и возьми в двойные ковычки саму ссылку

теперь смотри, у тебя есть ссылка на скачивание m3u8 - пусть она будет https://example.com/test.m3u8
у тебя есть сам m3u8, тебе нужно из него вытащить (руками например) все его куски, вот эти 145xxx2.mp666/frag-1-v1-a1
ты в ссылке этой сгенерированной curl должен заменить test.meu8 на этот кусок, т.е. получишь https://example.com/145xxx2.mp666/frag-1-v1-a1
в конец строки curl добавь -o имя файла, куда будет сохранен кусок (иначе он выводится на экран) пусть к примеру это будет просто число 1,2,3,4,... по номеру строки
у тебя там 8 ссылок вот 8 команд curl у тебя должно получиться (сохраняй в текстовый файл, назови его x.bat, по запуску он запустит по очереди все эти curl которые загрузят твои файлы)

после этого подправь m3u8 чтобы в нем были не пути на сайт а пути на файлы которые скачались, т.е. цифры 1,2,3,..., и все, готов файл для локального просмотра

p.s. порядок параметров curl может быть любой, обычно сначала ставят все заголовки и параметры запроса, а в конце ссылку и -o куда сохранить, если не умеешь программировать, рекомендую используя excel в первой колонке тупо скопировать curl команду без ссылки и -o, во вторую колонку добавить список ссылок, в третью список -o, в четвертую числа 1,2,3,...

копируешь через буфер получившуюся таблицу, вставляешь в текстовый файл, получаешь объединенные строки (там между колонками будет табуляция, для bat это то же что и пробел, т.е. как обычный разделитель)

[Alex]

rPman, спасибо тебе большое! Все получилось!)
P.S. Осталось теперь только как-то автоматизировать все это, но это уже потом)