Что же, отвечу сам себе на свой же вопрос.
Если у вас есть какой-то список, в элементы которого динамически вставляются ещё layout'ы, лучшим вариантом будет создать LruCache, который будет эти самые layout'ы хранить.
А дальше просто в getView() они удаляются, и заново вставляются из LruCache (удаление требуется для того, чтобы программа не валилась с "The specified child already has a parent").
