а почему таймер должен остановиться, его кто-то останавливает?
и я не уверен что СountDownTimer использует пул потоков, полагаю что запускает при создании новый поток. на твоем месте я завел бы один handler , который тикал бы и пробегал только по видимым элементам списка и у них обновлял бы необходимые данные.