Довольно просто, типа так. Только естественно нужен соответствующий плеер без рамок и т.п., а не плеер youtube. При наведении запускаешь видео, при выходе за границы - стоп. Ну и при наведении анимация увеличения. В какой-то момент момент точка невозврата, тоесть даже при выходе за границы видео не возвращает, а идет анимация увелечения до размеров окна и плавное убирание border-radius чтобы были квадратные рамки
Суть в том, что слой видео внутри кнопки, и оно там под ней проигрывается постоянно, как я понял, только без звука. Изначально у кнопки ширина 110x110px и красный бэкграунд, при наведении бэкграунд уходит и ей задаются размеры 2300x2300 с
В общем, в течении 6 секунд ширина и высота равномерно расширяются. Структура там сложная, ковыряться точнее уже поздно, сделал вам простейший пример на css.
