Для того, чтобы запретить отправку, требуется получить объект ивента, и запретить его продолжение. Можно так:
form.onsubmit = function (event) {
let inputRadio = document.querySelector('input[name="payment"]:checked'),
radios = document.querySelectorAll('.order__form-step.active .radio__fake');
if (!inputRadio) {
radios.forEach(radio => radio.classList.add('invalid'));
event.preventDefault() //теперь форма не отправится
return false;
} else {
radios.forEach(radio => radio.classList.remove('invalid'));
}
}