Размер меняется скорее всего потому что у вас Layout Element не настроен правильно, возможно, там заданы фиксированные размеры.
Чтобы "контент подстраивался под количество элементов", надо использовать data-driven подход, есть разные ассеты и скрипты, которые позволяют делать динамические прокручиваемые списки. Например:
https://github.com/qiankanglai/LoopScrollRect
Я тоже делал для себя что-то похожее:
https://github.com/mopsicus/infinite-scroll-unity