Необходимо, чтобы сервис Youtube извлекал слова из видеопотока и сохранял эти метаданные, добавлял в индекс для последующего поиска при помощи языка запросов через REST API. Сложность в огромных затратах энергии, уходящих на анализ такого массива видео, при недостаточном качестве извлечения текста для множества языков.
Чтобы создать такой поисковый сервис по Youtube, необходимо определить появление новых видео, скачивать по сети огромное кол-во данных, затем анализировать видео своим алгоритмом и, по сути, создать дополнение к Youtube на своих мощностях.