Подключать целую библиотеку и вешать аж 10 лисенеров ради такого функционала?
Я сомневаюсь что даже на кружках по javascript'у урок начинается с "подключим jQuery".
Учитесь сразу делать все хорошо и продуманно.
На таблицу повесить onclick, парсить по event.target.classList.contains('number') и устанавливать цвет.
Забегая вперед, добавлять цвет лучше добавлением класса, иначе вам будет затруднительно снимать цвет с ранее выделенных (если конечно понадобится).