все таки можно удалить span, получая его по имени тега, нужно лишь вспомнить, что в таком случае мы получаем массив элементов с тегом span, следовательно надо указать на конкретный элемент массива
var elementDom = document.getElementById('id_div');
elementDom.removeChild(elementDom.getElementsByTagName('span')[0]);