Вот выдержка из документации VK API к методу video.search:
"После успешного выполнения возвращает объект, содержащий число результатов в поле count и массив объектов видеозаписей в поле items.
Если был задан параметр extended=1, возвращает число результатов в поле count, отдельно массив объектов видеозаписей в поле items, пользователей в поле profiles и сообществ в поле groups. "
Соответственно, можно после выполнения поиска проверять, есть ли интересующее вас сообщество в поле "groups".
Отдельного метода для поиска видео в группе я не нашел.
