Почему перемешиваются данные в RecyclerView?

Насколько я вижу, заменяется в тех местах, где есть какая-либо проверка, завязанная на task. Вы task берете исходя из holder.getAdapterPosition().

Попробуйте вместо
notifyItemRemoved(position);
notifyItemRangeChanged(position, listItemTask.size());
использовать notifyDataSetChanged().

Что делать если рябят спрайты в Unity3D?

DuckMcQuack как ты уменьшал размер спрайта? просто уменьшил scale в трансформе?
В настройках импорта самого спрайта попробуй поиграться с Pixel Per Unit, только сначала верни scale на 1.