Если отвечать непосредственно на спрошенное, то
document.querySelectorAll('.cart__counter').forEach(n => {
n.innerText = parseInt(n.innerText);
});
Но вообще, это конечно костыль. Вы бы посмотрели - может есть возможность настроить корзину так, чтобы лишние надписи изначально не выводились.