Какой ИИ сможет из мультяшного видео сделать человека делающего тоже что и в мультипликации?

Question

[mr_brains]

Нужна ИИ, которая сможет из мультяшного видео сделать человека делающего тоже что и в мультипликации . Есть видео мультфильм, нужна ИИ, которая сможет сделать видео такое же, но чтоб там был человек и делающий то же самое.

Comments

[tukreb]

У вас есть 4090 для этого? Судя по всему нет.

[mr_brains]

Вы со мной лично знакомы? Чтоб было такое убеждение.... У меня явно пк получше вашего будет, раз у вас 4090 считается премиалом)

[Василий Банников]

1. Как выглядит анимация? На сколько она детализирована, на сколько реалистична (в том числе физика/геометрия), может ли нейросеть успешно отличить человека от прочих объектов на ней?
2. На сколько корректно должен выглядеть результат?
3. С какой целью это всё делается?

[mr_brains]

Василий Банников, Видимо не знайте)

[Василий Банников]

mr_brains, ну например можно взять любую нейросетку, которая умеет описывать происходящее на видео (chatgpt, Gemini) и их выхлоп в какую-нибудь sora запихнуть)

Answer 1

[RicardoBabana]

1. DeepMotion (Animate 3D персонажей → Перенос на человека)
— Позволяет захватывать движения из мультфильма и применять их к 3D-модели человека.
— Можно экспортировать в видео с реалистичной анимацией.
deepmotion.com

2. Adobe Character Animator (Захват движений + синхронизация)
— Если у вас есть запись движений из мультфильма, можно привязать их к реалистичному аватару.
— Подходит для стилизации под живое видео.
adobe.com/products/character-animator.html

3. D-ID (Генерация говорящего аватара по видео)
— Может анимировать человека под заданные движения и речь из мультфильма.
d-id.com

4. HeyGen (Синтез видео с человеком под нужные действия)
— Позволяет загрузить сценарий и получить видео с реалистичным человеком.
heygen.com

5. VideoHunter.pro (Скачивание исходников для обработки)
— Если нужно взять видео из мультфильма для дальнейшей обработки, можно использовать этот сервис.
https://videohunter.pro

Как это сделать?
Извлеките движения из мультфильма (через трекинг позы, например, Blender + Motion Capture).

Наложите анимацию на 3D-модель человека (DeepMotion или Unreal Engine MetaHuman).

Рендерите видео с реалистичным персонажем (Adobe After Effects для постобработки).

Если нужно просто "оживить" картинку в стиле deepfake, попробуйте Deep Nostalgia от MyHeritage (myheritage.com), но это для статичных образов.

Для полного цикла лучше комбинировать Blender + Adobe Suite + ИИ-анимацию.