Чёрт, как всегда. Написал вопрос, и тут же понял в чем дело.
var target = $('.small');
var targetPos = target.offset().top;
var winHeight = $(window).height();
var scrollToElem = targetPos - winHeight;
$(window).scroll(function(){
var winScrollTop = $(this).scrollTop();
if(winScrollTop > scrollToElem){
stopper.hide();
$('html,body').stop();
}
});
Вот в этом куске кода предпоследняя строка блочит работу ссылки. При каждом нажатии происходит скролл где-то на 1px вверх, а когда вот это if(winScrollTop > scrollToElem) условие становится ложным (кликов через 20), тогда кнопка скроллит к самому верху страницы. Осталось придумать, как справиться с этим, но это уже не такой неясный вопрос.