Для начала вместо getElement
sById -> document.getElementById.
Далее alert(res) нужно вносить внутрь функции.
Далее search нужно приравнять к элементу document.getElementById('search')
var search = document.getElementById('search');
var res = 0;
search.onclick = function(){
var n = document.getElementById('n').value;
var k = document.getElementById('k').value;
var m = document.getElementById('m').value;
for (var i = 0; i < n.length; i++) {
if (n.charAt(i) == m){
res = res + 1;
}
}
for (var i = 0; i < k.length; i++) {
if (k.charAt(i) == m){
res = res + 1;
}
}
alert(res);
}