Ну так добавьте ивент в функцию вызова попапа.
И проверяйте — если попап открыт (в вашем случае подойдёт проверка на наличие класса css), то удаляйте ивент. Если закрыт, то, соответственно, вешайте прослушку.
Функции для реализации — classList.contains, addEventListener, removeEventListener.