о_О А чего вы таким способом хотели добиться? Один раз создаёте layerDoctors, и пытаетесь его несколько раз добавить в контейнер. Уже на втором разе вы получаете эту ошибку, потому что вьюха уже добавлена.
Дальше. 200 элементов в LinearLayout, да ещё, судя по всему, не простые - это гарантированный способ получить тормоза. Конечно же, надо использовать виртуализованный список. Например, ListView, и, конечно же с паттерном вьюхолдер, который вы почти освоили.
Но я бы рекомендовал сразу использовать RecyclerView, он посовременнее и там сложнее ошибиться. И вообще плюшек много.
P.S. немного разверну ответ. ViewHolder - это паттерн, позволяющий улучшить переиспользование вьюх в виртуализованных контейнерах.
Что значит виртуализованных - это значит, что в контейнер вы ложите больше элементов, чем есть вьюх. Вьюхи переиспользуются по мере надобности (выход за границы экрана).
В LinearLayout переиспользования нет. Вы положите в него 200 элементов - будет очень большой оверхерд по памяти и отрисовка будет тупить. ViewHolder тут не поможет по определению.