"Я решил хранить флаг selected в классе, который представляет объект" - what kind of object: data or ViewHolder.
If data - it's acceptable, if ViewHolder - no (it's a way to bugs)