Есть ли видео-нейросеть, дорисовывающая объекты к реальному видео?

Question

[EnZo_Smile]

Нейросетки могут генерировать видео по запросу, могут оживлять фото...

А дошли ли нейросети до того, чтобы дорисовывать объекты к реальному видео, и чтобы оно было более-менее реалистично? Например, я снял на телефон поле и хочу, чтобы в видео на этом поле мирно паслись тиранозавры - возможно ли это сделать нейросеткой без закапывания в глубины какого-нибудь After Effects или Fusion? Если да - то как?

Comments

[evomed]

Точно есть. Я видел реальные видео, которые сильно изменялись - не просто персонажи новые, а трансформировались в другую реальность.

Answer 1

[Ronaldo]

Вроде таких еще нет.
Но есть довольно простой способ сделать это последовательно.
1) Добавить статических динозавров к фотке в StableDiffusion (SDXL Inpaint / Flux Inpaint / Flux Kontext).
2) Скормить это изображение сетке которая создает видео по первому кадру (WAN 2.1 / FramePack)
Поставить такую связку можно через Pinokio AI (https://pinokio.co/docs/#/?id=install)
(WAN/FramePack там сами найдете, а для StableDiffusion пойдет например Fooocus или Automatic1111 (ему надо вроде докачивать модели))
Конечно нужен GPU помощнее, хотя в Pinokio WAN ставится с довольно демократическими требованиями.
Пример видео по первому и последнему кадру: https://www.reddit.com/r/StableDiffusion/comments/...

Comments

[rPman]

вот пример для wan и comifyui, но это буквально генерация другого видео, очень похожего на исходное