Код заменить на
const elems = document.querySelectorAll('button');
elems.forEach(el => el.addEventListener('click', function() {
alert(this.textContent);
}));
- querySelectorAll возвращает массив а не элемент.
- innerHTML заменить на textContent - на случай если внутри кнопки будет верстка
- var не использовать. Слишком много подводных камне с ним для новичка. Проще будет с let/const. Список кнопок не переопределяется, поэтому используем const