dmitry-toster

Поскольку у вас видео вставляется через iframe, то к урлу надо добавить параметр enablejsapi который позволит средствами JS управлять состоянием видео.
При закрытии окна просто останавливайте воспроизведение.
Вот решение

Возможно на основе этих 10 вариантов что-то можно выбрать и соорудить нечто подобное