Во-первых, фрагмент должен быть вещью в себе, никто не должен знать, какие у него внутри вьюхи, он инкапсулирует их в себе.
Во-вторых, когда фрагмент создан, это ещё ничего не значит. Весь его жизненный цикл начинается только после добавления в менеджер фрагментов. Соответственно, к вьюхам можно обращаться только после выполнения onCreateView. И делать это, как я сказал выше, следует
только из самого фрагмента.
Если несколько раз сменить фрагмент то перелистывалка перестает работать. Есть подозрение что это из за того что они оба используют один supportFragmentManager.
По этому ничего сказать не могу. Исправь замечания выше, почитай на Android developers про фрагменты и их использование и проблема, скорее всего, исчезнет.