потому, что document.querySelectorAll('img') получает список элементов, и по этому списку нужно еще пройтись. И не boxShadow, а style.boxShadow
UPD: вот так
let els = document.querySelectorAll('img');
Array.prototype.forEach.call(els, function(el) {
el.style.boxShadow = '0 0 10px rgba(0,0,0,0.5)';
});