ммм. Два момента, сразу бросившихся в глаза:
1) В АПИ наткнулся на
---> public void setSmoothScrollbarEnabled (boolean enabled)
В описаниях к нему сказано, что оно должно быть ВЫКЛЮЧЕНО для списков с меняющейся высотой элементов.
Соответственно, попробуй установить значение false.
2)
Вот тут у человека, похоже, та же проблема. На всякий случай показываю, вдруг не было найдено.