Я не уверен, что это вам поможет в вашей архитектуре, но возможно с помощью
nginx-rtmp + скрипты в системе можно создать такую схему. Получится так, что вы транслируете не на ютуб сразу, а сначала на свой сервер, который пересылает поток в ютуб. Потоки можно конвертировать тем же ffmpeg'ом (в т.ч. брать источники по rtsp или откуда угодно, но тоже с помощью ffmpeg).
У nginx-rtmp есть система ивентов по подключению/отключению источника или клиента. Их можно отлавливать и что-то с этим делать. Я создал на базе него ультрамини ютуб для трансляции мероприятий и одновременной ретрансляции на ютуб. Получился такой резервный сервер. Гуй из 3х дивов, hls-плеера и пары JS строк, БД для ивентов и текущей информации и пара ультрапростых php страничек. Одна из которых служебная для передачи инфы из nginx-rtmp в БД.
Трансляция по rtmp в ВК не должна сильно отличаться от ютуба. Ключик для трансляции можно передать прямо в URL для публикации. В доках все параметры оч хорошо расписаны.
Может и без скриптов обойдетесь - см параметры drop_idle_publisher, play_restart.
из сорцов не собирайте, в debian с 10го появился нативный пакет в репах. Не самый свежий, зато стейбл и собирать не надо.