Если Вы этого не сделали, в структуре таблицы видео должно быть поле, связывающее их с определённой категорией.
Затем получаем категории из БД:
$categories = mysqli_query($connection,"SELECT * FROM `category`");
$categoriesArr = array();
while($cat = mysqli_fetch_assoc($categories)){
//образуйте, например, массив с ними:
$categoriesArr[] = $cat['category']; //не знаю в каком виде они у вас хранятся в таблице
}
Что Вы уже сделали, и работаем уже с ними:
foreach($categoriesArr as $cat){
//для каждой категории делаем запрос в бд
$videos = mysqli_query($connection, "SELECT * FROM `videos` WHERE category = '$cat' ");
//и вывод видео
while($video = mysqli_fetch_assoc($videos)){
...
}
}
