@notCake

Системы для анализа эмоций в видео и автоматической генерации текстовых реакций. Существует ли такое?

У меня есть проект, который требует анализа коротких видеоклипов (длительностью от 5 до 60 секунд) для генерации автоматических текстовых реакций на основе контента из видео. Необходимо, чтобы программа могла интерпретировать эмоциональный контекст видео (например, веселое, грустное, мотивирующее и т.д.) и выдавать предварительно рандомные текстовые реакции типа "это круто", "мне грустно", "да", "давайте поможем", в зависимости от контекста видео. В основном это мультфильмы и анимация, а не реальные видео с людьми.

Дополнительно хотелось бы иметь функцию, которая может отслеживать персонажей в видео и записывать информацию о них в файл для дальнейшего анализа. Меня интересует, какие существующие библиотеки или программные решения могут помочь в реализации такого проекта.

Вопрос к сообществу: какие подходы, фреймворки или библиотеки вы бы рекомендовали для реализации такой системы? Возможно, у кого-то уже был опыт работы с подобными задачами, и вы могли бы поделиться своими идеями, как это можно осуществить?
  • Вопрос задан
  • 114 просмотров
Решения вопроса 1
saboteur_kiev
@saboteur_kiev Куратор тега Python
software engineer
Набираете десятки тысяч фото, проставляете им теги настроение, скармливаете нейросети для обучения. В результате получите нейросеть, которая примерно пытается понимать реакцию по фото.
Потом анализируете несколько фото из видео, получаете прогноз сети.
Займет это n-цать лет, n-цать $

А готовых, еще и для бесплатного использования - вряд ли будет в таком виде, как вы хотите.
Можете погуглить что-то вроде https://imentiv.ai/pricing/
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
fenrir1121
@fenrir1121
Начни с документации
Существует ли такое?
Не существует.

Эмоциональный контекст это что вообще? Есть определение и алгоритм его нахождения? Одно и то же видео может интерпретироваться в зависимости от возраста, воспитания, вероисповедания, интеллекта и десятка других факторов совершенно по-разному. Вероятно видео, которое трехлетнего ребенка приведет в восторг меня будет вгонять в тоску.

выдавать предварительно рандомные текстовые реакции типа "это круто", "мне грустно", "да", "давайте поможем", в зависимости от контекста видео
Это такое натягивание совы на глобус, что подозреваю, что с тем же успехом можно давать совершенно случайные реакции к любому видео.

Дополнительно хотелось бы иметь функцию, которая может отслеживать персонажей в видео и записывать информацию о них в файл для дальнейшего анализа
Это пожалуйста. Берете opencv и вперед.

какие подходы, фреймворки или библиотеки вы бы рекомендовали для реализации такой системы?
Рекомендую не браться за задачу, которую вы описали, она слишком абстрактна. Ставьте четкие задачи и последовательно их решайте.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы