Почему не срабатывает задержка setTimeout в цикле?

Потому что setTimeout вызывает Вашу функцию асинхронно.

P.S. А еще лучше использовать рекурсию (дублирование кода - это плохо)

function smoothScroll() {
    setTimeout(function () {
        if (window.pageYOffset > 0) {
            window.scrollTo(0, window.pageYOffset - 10);
            smoothScroll();
        }
    }, 100)
}