Как лучше делать трансляцию видео на Ноде?

Question

[Wasya UK]

Нужно через socket.io передавать трансляцию того, что происходит на мониторе. Могу считать все пиксели с помощью robot.js и передать массивом, а потом уже обработать на клиенте, или же лучше использовать ffmpeg, получить изображение и передать его в сжатом формате? Думаю что считывать каждый пиксель с монитора будет долго, плюс на клиенте еще тратить ресурсы для обработки массива пикселей в фото и еще сделать трансляцию видео из этого будет сложновато, поскольку не шарю в даном вопросе, но и думаю что освоение ffmpeg отнимет прилично времени, поскольку я только кадры из фото вырезать умею на нем. Какой путь будет более оптимизированным и лучшим?

Comments

[Wasya UK]

Через Robot.js получается очень долго. Я получаю буфер с каждого скрина, каждый весит (1920х1080) по 8 мб. Это очень много. Приходится сжимать и потом на клиенте обрабатывать, чтобы положить в канвас. Думаю можно сделать проще и лучше через ffmpeg, но не понимаю как. Видео можно записать в папку, но не передавать как стрим (пока что только такое нашел) Можно ли записывать в оперативку и отлавливать части видео ffmpeg для передачи через сокеты?

[de1m]

Посмотрите socket.io-stream проект, может быть можно будет через него пропихнуть видео. И вот это вот, это упрощение socker.io-stream

Answer 1

[Сергей Савостин]

Да в ffmpeg все просто: захватили и раздали. Вот тут можно ключики подсмотреть.
Как-то так можно обернуть в Node.

Comments

[Wasya UK]

нужно раздавать на свой сервер? А каптор потом найдет трансляцию? Простите, только вхожу в данную тему

Записывать научился, но не понимаю как раздать. Думаю через pipe, но не понимаю примерный алгоритм...

const command = ffmpeg('desktop')
  .duration(30)
  .size('1920x1080')
  .inputFPS(25)
  .addInputOption('-f gdigrab')
  .on('progress', e => {
    console.log(e)
  })
  .on('end', () => {
    console.log('Done!')
  })
  .on('error', err => {
    console.error(err.message)
  })
  .save(path.resolve(__dirname, 'files', 'output.mpg'))