У меня, например, соотношение число удалений/установок в день колеблется от 1/2 до 3/4. Мне кажется, надо смотреть на итоговый график - сколько всего активных установок. Если растёт - все ок, если нет - что-то не так.
По-моему, тут дело не в производительности, а в том, как вы собрались размещать объекты на экране. ConstraintLayout позволяет многое сделать, поэтому его и надо использовать там, где нужны его возможности.