Какая есть программа для поиска дубликатов видео с частичным совпадением видео ряда?

Question

[Павел]

была у меня программа, она искала дубликаты видео по частичному совпадению, например есть 2 видео, в одном половина ролика, во втором вторая половина но они частично друг друга дублируют (пару минут в середине) , она это находила, помечала и говорила вот частичный дубль

не могу найти ее, может есть какие то аналоги? Бесплатные желательно или с кряком

Comments

[d'Ivan]

А как искал, что ничего не нашел?

[Павел]

Everything_is_not_so_bad, просто их миллио этих прог(

[d'Ivan]

Павел, и из того миллиона ничего не подходит?

[Павел]

Everything_is_not_so_bad, 90% вообще не пригодны для использования, поиск делают только по размеру файла например

[rPman]

Павел, проблема в том что правильно дубликаты видео искать сложно и дорого, сомневаюсь что действительно правильный алгоритм будет доступен в открытую, я удивлен что то что существует открыто - я в ответе дал ссылку

самому алгоритм изучать лень, но поковыряв исходники с помощью ИИ anthropic claude я просто подтвердил свои догадки - алгоритм работает с видео по его содержимому, разбирая покадрово, присваивает каждому свой hash (вот тут нужно лучше проанализировать, всему видео или покадрово) и сравнение идет уже по нему.

Answer 1

[rPman]

Неужели совсем гуглом пользоваться не умеешь?
я не пробовал, попробуй это https://github.com/0x90d/videoduplicatefinder

Не уверен, может ли эта программа искать дубликаты кусков видео, но это opensource, а значит можно модифицировать логику, например разделив видео по keyframe (обычно это смена сцены), можно отдельно алгоритмы поискать выявления смены сцены, хотя бы по битрейту (при смене сцены растет требования к количеству байт на кадр), да придется подбирать кодеки для этой задачи. и соответственно дальше искать дубликат не видео а сцен.

p.s. смутно помню что так как дубликаты аудио искать проще, в том же youtube это так и работает.

Comments

[Павел]

это не она, не так много опций как было у моей но спасибо, как вариант

[rPman]

так ты скажи чего ты именно ищешь?
у программы может быть миллион опций, связанных не со сравнением видео а с обработкой видео в архиве (чтобы ускорить процесс например за счет предобработки и хранения к примеру уменьшенной версии, сведенной к одному размеру)

[Павел]

rPman,
например есть видео снятое за целый день, есть 3+ дубликата
в первом видео фрагмент только с 8 утра до 12 дня
во втором с 11 дня до 6 вечера
в третем видео с 9 утра до 7 вечера

нужно наглядное понимание в чем именно отличие, в той программе которую я использовал была временная шкала как у видео редакторов, дубликаты добавлялись в группу и эти временные шкалы отображались как превью, а дальше я сам уже решаю что делать, удалять/сохранять и т.п

[rPman]

Павел, а у этой куски видео не обнаруживает? странно формально функционал такой в ней есть, работает она сравнивая именно кадры

[Павел]

rPman, тут не видно какой конкретно файл на сколько длинее и с какой стороны, просто дубль и % совпадения

[d'Ivan]

Павел,

тут не видно какой конкретно файл на сколько длинее

Это можно проверить без анализа видео, только по метаданным.

просто дубль и % совпадения

если хэш-суммы файлов совпадают, значит, дубликаты.

[d'Ivan]

Или даже по размеру файла определить дубликаты ли. Примитивно и неточно, но очень дёшево.

Answer 2

[d'Ivan]

Для начала, я бы взял первую программу (назыв. "икота" по-польски) из https://alternativeto.net/software/video-duplicate...

spoiler

и проверил бы остальные из того списка, если бы не подошла.

Answer 3

[Saboteur]

Видеоряд сравнивать довольно хлопотная задача. Ладно еще сравнивать содержимое файла, но ты себе представляешь хотя бы примерную реализацию и затраты на это?
Опенсорс такого плана вряд ли реалистичен, а платный - не сильно это востребовано, чтобы было достаточно клиентов

Answer 4

[mayton2019]

Можно попробовать все кадры видео проиндексировать. Как PHash.
И потом по этому индексу искать как текстовый поиск повторения.
Но это задача на разработку. Не на готовый софт.

Comments

[Павел]

ну вот прога была у меня но найти не могу