Не долго радовался ровному скролу как началось опять перемешивание. Но, таким образом вообще начало проглатывать элементы, и в теле списка крутит по нескольку раз элементы.
Хотя это виновато кеширование.
после создания вьюшки делаю так.
views.put(item.getId(), new WeakReference<>(convertView));
При отключенном кеширование работает 100% верно, но появляется подергивание из-за перезагрузки содержимого карточки. Надо попробовать содержимое положить в кеш и отрисовывать без его подгрузки из источника
