Вы передаете массив по ссылке в функцию, и меняете его там, поэтому он меняется. Внутри функции используйте slice, или клонируйте свою матрицу.
UPD: вот реализация без этой проблемы.
var rowNumber = 0;
var colNumber = 1;
var x = A.filter(function (val, ind) {
return ind !== rowNumber;
}).map(function (val) {
return val.filter(function (val, ind) {
return ind !== colNumber;
});
});
