По принципу убывающей релевантности они сортируются ) Создаются сущности для «близких» видео (точные и неточные копии), для каждого видео со всех источников собираются тэги и описание, если таковые имеются + индекс по комментариям. Так можно не «просматривая» видео, с некоторым приближением судить о том, что на видео происходит. Вообще говоря, очень часто можно достаточно точно отнести видео к какой-либо категории только по сайту и его тематике. Также помогает накопленная статистика о том, откуда пользователи приходят на это видео.
Далее поиск сводится к обычной семантике(текстовый поиск). По содержанию пока не научились смотреть, но Google уже начинает распознавать образы на картинках(в будущем — на видео).