Веб-камеры на выборах (3) — помогите сохранить видео поток из онлайн-трансляции!

Question

[sergehog]

Начало дискуссии было здесь:
habrahabr.ru/qa/16055/
habrahabr.ru/qa/16723/

Дождались! Появились некоторые трансляции. Очень необходимы добровольцы и умельцы чтобы установить наиболее удобный способ сохранения видео-потока.
pastehtml.com/view/bpm1bzpug.html
webvybory2012.ru/moscow

Есть на хабре знатоки флеша и нетворкинга в конце-концов? Кто знает как работает видео трансляции через флеш? Это TCP или UDP поток? Как бы его грамотно заграббить а потом превратить в видео-файл?

У нас появилась возможность применить свои знания для важных целей — так давайте сделаем это! Если у нас будут полные видео-файлы всего процесса голосования на каком-то участке, мы с сможем подсчитать количество настоящих голосов! Если мы найдем простой способ сохранения видео потоков — много людей смогут это сделать, а значит и проверку можно будет устроить по множеству участков.

ПРОСЬБА К СКЕПТИКАМ И ЧЛЕНАМ ПАРТИИ ЕДИНАЯ РОССИЯ: НЕ ПИСАТЬ МУСОРНЫХ СООБЩЕНИЙ. ВСЕ ТОЛЬКО ПО СУЩЕСТВУ!

Answer 1

[Алексей Журбицкий]

Получилось! Записал консольным ffmpeg-ом
narod.ru/disk/42213799001.ef5c5d227210f32aa506451041cc2f88/1.mp4.html

Comments

[Алексей Журбицкий]

$ ffmpeg -i "http://188.254.112.50/master.m3u8?cid=c77d3cfc-4577-11e1-a89b-f0def1c10bcc" -f mp4 -strict experimental ./1.mp4

[sergehog]

Блин, круто! Требую детали :)))

[andruxin]

blo, linux?
под виндой не пашет(

[Алексей Журбицкий]

под винду тоже есть ffmpeg — ffmpeg.zeranoe.com/builds/
проверил, работает

[PEgorov]

Интересно узнать, как поведет себя ffmpeg при потере сигнала с камеры? Ну то есть грубо говоря, что будет, если посреди записи камера отвалится? ffmpeg будет жить, и подцепит сигнал, как только он появится опять?

[Алексей Журбицкий]

детали:
1. качаем это ffmpeg.zeranoe.com/builds/win32/static/ffmpeg-git-a4c22e3-win32-static.7z
2. распаковываем
3. заходим консолью в распакованую папку в bin
4. выполняем ffmpeg -i "http://188.254.112.50/master.m3u8?cid=c77d3cfc-4577-11e1-a89b-f0def1c10bcc" -f mp4 -strict experimental ./1.mp4
5. ???
6. profit
5. по ctrl+c останавливаем и в папке видим 1.mp4

[andruxin]

заурчало)

[sergehog]

Супер!!! Работает!!! То что нужно!
Вот список валидных uuid со дня открытых дверей: (часть уже не открывается)
pastehtml.com/view/bpo3bmuvg.txt
на первом сейчас люди ходят…

Эх, теперь бы закраудсорсить все возможные uuid и какой-то веб-сайт склепать для организации добровольцев…

[SFx]

5. по ctrl+c останавливаем
Press [q] to stop, [?] for help

[Алексей Журбицкий]

кстати кто хочет просто смотреть:
ffplay 188.254.112.50/master.m3u8?cid=c77d3cfc-4577-11e1-a89b-f0def1c10bcc

[sergehog]

ffmpeg почему то жрет много процессора и время от времени отваливается :-(((((

Answer 2

[andruxin]

судя по ссылки с pastehtml там будет идти поток по этой ссылке 188.254.112.52/master.m3u8?cid=<ИД камеры>
а вообще пока не будет реального потока, врядли чтото можно посоветовать.

Comments

[andruxin]

Не порите горячку раньше времени. Разобраться с потоком дело 5-10 минут, если там нет ничего заумного. На крайняк можно писать захваченное видео с экрана.

[sergehog]

Было бы здорово подготовить «типовое решение», для того чтобы каждый желающий смог бы записать видео интересующего его участка.
Я вот лично ничего не понимаю в стриминге, и не знаю что делать со ссылкой, что вы дали. Как превратить ее в видео-файл?

[andruxin]

Всё будет ясно тогда когда можно будет пощупать руками работающие потоки.

[sergehog]

webvybory2012.ru/moscow
В данный момент есть несколько работающих. Сам смотрю на школьников.

[andruxin]

какие номера участков?

[sergehog]

var caches = ['188.254.112.50','188.254.112.51','188.254.112.52'];
var cache = caches[Math.round(Math.random() * (caches.length-1))];
var url = 'http://' + cache + '/master.m3u8?cid=' + uuid;
$('#player'+id).replaceWith('/>');

Вы правы по поводу формата УРЛ. Хотя там еще несколько запасных IP. Это отлично.

[sergehog]

В частности УИК №2580 — камера 1.
(похоже что школьников не предупредили, что запись идет)

Вы понаоткрывайте несколько штук. Если ни одна не откроется, переключите на вторые камеры. У меня половина участков хоть с какой то из камер открывается

[Evengard]

Впихиваем URL-ник как источник в VLC, жмём вместо «воспроизвести» — «конвертировать/сохранить», настраиваем всё, выбираем в настройках настройки перекодировки (или галочку «сохранить исходный видеопоток») — и вуаля.

[andruxin]

лично у меня на всех УИК гонял новости.

[andruxin]

и webvybory2012.ru/moscow у меня 404 ошибка.

[lopatoid]

Угу, этот файл надо скачивать примерно каждые 20 секунд. В нём меняется ссылка на следующие чанки трансляции.
Пример m3u8 файла и кусочек видео (правда, для разных моментов времени, но идея понятна): qc.vc/files/webvybory2012.zip

[sergehog]

Тогда я не буду «перегружать» страницу пока :)
У меня трансляция с одной камеры все еще идет, и таки не прерывалась до сих пор.

Раз у вас 404, тогда я выложил версию страницы из кэша браузера. И да, судя по ней, ни одна из трансляций не открывается :-(
pastehtml.com/view/bpnn08lfw.html

[sergehog]

Кто может это проиграть?
188.254.112.50/master.m3u8?cid=c77d3cfc-4577-11e1-a89b-f0def1c10bcc
У меня эта камера (uuid) открывается в браузере (на покойной ныне странице webvybory2012.ru/moscow)

VLC ругается про неправильно составленный УРЛ. Т.е. он переходит куда-то дальше, а там лишние символы в урле:
VLC is unable to open the MRL 'http://188.254.112.50/%2Fvariant.m3u8%3Fcid%3Dc77d3cfc-4577-11e1-a89b-f0def1c10bcc%26var%3Dorig'. Check the log for details.

[sergehog]

УИК №680 uuid = b5187232-4b2d-11e1-8a16-001999c6bd97
тоже до сих пор открывается из закешированной страницы

[andruxin]

VLC хоть и ругается, но пытается его воспроизвести, т.е. если бы не какието неизвестные причины, то этот поток должен воспроизводиться. У меня ругается ошибкой 400 Bad request
На куски(непосредственно видео) segment.ts сервер ругается 404.
не всё так просто однако(

[Алексей Журбицкий]

у меня вручную segment.ts проигрывается, но там какой-то потолок все время

[andruxin]

Скрипт CURLом забирает файлы потока. Может VLC не указывает правильный USERAGENT

[andruxin]

Кто знает как в VLC прописать другой user-agent?

[andruxin]

Думаю стандартным софтом тут не обойтись. lopatoid правильно написал. каждый 20 сек забирать variant.m3u8, а из него берём ссылки на segment.ts и скачиваем на винт. Потом всё это собираем в один файл.

[sergehog]

188.254.112.50/variant.m3u8?cid=c9213b6c-43e2-11e1-b1cc-f0def1c0deac&var=orig
работает, но VLC не открывает ((. Там не только потолок показывают

[andruxin]

А где работает?

[SFx]

MPEG-TS хорош тем что его без труда можно собрать unix'овый cat или copy f1+f2+f3 f_out

[sergehog]

В браузере работает :-) Я вышу уже давал ссцылу на pastehtml — там некоторые камеры до сих показываются из браузера.

И кстати говоря — сохранение variant.m3u8 файлов — не выход. Ссылки на segment.ts очень быстро устаревают. Т.е. VLC их перестает проигрывать через какое-то время. Видимо, они не сохраняют это видео на диск, а просто транслируют в сеть и все. Надеюсь, настоящее видео с выборов будет сохраняться все-таки.

[Алексей Журбицкий]

habrahabr.ru/qa/16943/#answer_70092

[SFx]

кстати обратите внимание на variant.m3u8: unixtime в трансляции 1330418712, сейчас 1330436788 = разница 5 часов…

Answer 3

[PEgorov]

Ну да, концепт, набросанный на коленке, работает.
pastebin.com/raw.php?i=98xjuCXy

Answer 4

[Дмитрий Кузьмин]

Ищи программы умеющие сохранять потом флеш, ничего заумного тут не нужно. Например вот.

Answer 5

[Сергей Широков]

Это поток в формате RTMP (обычно). Используйте например rtmpdump или любой софт отсюда.

Answer 6

[AndyGray]

usachev.livejournal.com/68955.html
Если не собираетесь сразу со всех 60 000 писать)

Comments

[sergehog]

Запись с экрана — это самый плохой вариант. Но, во-всяком случае как запасной пусть будет.

Answer 7

[Павел Загребелин]

Ссылки, которые были в том посте — это потоки, используемые для приёмки камеры: есть веб-сервис, где инсталлятор ставит галку «Камера на уике 123 установлена», а специальный человек смотрит на трансляцию и ставит оценку (работает/не работает/ и т.п). Вероятность того, что в воскресенье будут отдаваться эти же потоки есть, но она далека от 100%.

Answer 8

[Виталий Желтяков]

sergehog, удивляюсь вашему нежеланию думать головой. Вам ранее дали самый реальный вариант:

«Берёте компьютер по-мощнее. Ставите на него несколько виртуальных машин с windows и установленным virtualdub. В день выборов на каждой виртуальной машине открываете браузер с запущенным просмотром нужных участков и запускаете запись с активного окна. Видео настраиваете с rate 1-3 кадра в секунду.»

Почему так правильно?
— Надёжно, т.к. если видеотрансляция прервётся, то запись видео не остановиться.
— Объёмы, т.к. незачем записывать весь поток кадр в кадр, достаточно сделать 1-3 кадра в секунду.
— Точно сработает, т.к. весьма вероятно, что потоки в видеокамер будут периодически меняться.

Comments

[andruxin]

И этот человек пишет ЭТО на Хабре… :facepalm:

Answer 9

[n0s]

Никого последний пункт раздела «Помощь» не напрягает?

Во время трансляции каждому пользователю раз в десять минут будут показывать капчу — набор символов, который нужно ввести, чтобы продолжить смотреть видео. Это ограничение призвано уменьшить расход серверных ресурсов: если зритель ушёл от компьютера, оставив трансляцию включённой, то через десять минут трансляция остановится, если пользователь не вернётся и не введёт капчу.

Comments

[PEgorov]

Тут идея какая. Есть мнение, что если получится получить, скажем так, первичный мультимедийный поток напрямую, то будет побоку на капчу. Но даже если ростелекомовцы будут предусмотрительны и будут менять адрес вещания каждые 10 секунд, то всегда остаются наши друзья с антигейта =)

[andruxin]

Подозреваю это программный момент, т.е. если не ввести капчу, то просто скрипт не будет спрашивать файл с новыми чанками. Хотя возможно при запросе, сервер будет отдавать всё без проблем. Время покажет)

Answer 10

[Андрей Буров]

Developers tools в хроме или Firebug, посмотреть откуда будет идти поток и скачать его wget'ом, либо достать из кэша браузера.

Answer 11

[Алексей Журбицкий]

Если ссылки в плеере идут на файл m3u8, то используется HTTP Live Streaming, его можно захватывать ffmpeg-ом.

Comments

[Алексей Журбицкий]

Кстати VLC плеер с версии 1.2 тоже должен работать с таким потоком, а в нем можно указать сохранение входного потока в файл.

[Алексей Журбицкий]

ffmpeg ругается
[mpeg2video @ 0xa0dc6c0] MPEG1/2 does not support 15/1 fps
значит до segment.ts он уже дошел, поковыряю дальше

Answer 12

[volnov]

А это уже видели?

Answer 13

[ComodoHacker]

> Если у нас будут полные видео-файлы… значит и проверку можно будет устроить

Ха-ха, как наивно. Вердикт суда: «сделано в Калифорнии!»

Тут похоже выяснили, ради чего затевалась эта многомиллиардная а… акция с камерами: vice-chancellor.livejournal.com/195236.html :)

Answer 14

[Qwertovsky]

habrahabr.ru/blogs/e_gov/139292/