querySelectorAll возвращает массив(точнее коллекцию элементов), и вы массиву пытаетесь назначить событие.
Событие нужно назначать каждому элементу массива
const modalBtns = document.querySelectorAll('.modal-btn li');
modalBtns.forEach(b=>b.addEventListener('click', openModal));