Была аналогичная ситуация, надо было когда открывается модальное окно воспроизвести а если закрыть нажать на паузу, нашел решение!
<script>
$(document).on('click', '#close_vid', function() {
jQuery("iframe").each(function() {
jQuery(this)[0].contentWindow.postMessage('{"event":"command","func":"pauseVideo","args":""}', '*')
});
});
</script>
<script>
$(document).on('click', '#play_video', function() {
jQuery("iframe").each(function() {
jQuery(this)[0].contentWindow.postMessage('{"event":"command","func":"playVideo","args":""}', '*')
});
});
</script>
PS:
https://www.youtube.com/embed/SMExDCDusx4?enablejsapi=1& - вот таким образом надо включить API