Возможно причина в том что listview переиспользуется видимые элементы, для этого вам нужно переиспользовать convertview, так же советую почитать про ViewHolder паттерн.
Да и в целом в 2016 использовать ListView не комильфо(если это не саппорт конечно), поищите реализацию необходимого поверх RecyclerView.
Да и в целом в 2016 использовать ListView не комильфо(если это не саппорт конечно), поищите реализацию необходимого поверх RecyclerView.