Если в лоб решать вопрос, то:
mViewPager.setOffscreenPageLimit(0);
А если по уму, то нужно проверять какая сейчас вкладка активна, и загружать те данные которые необходимо для текущей вкладки. Отследить можно пробросив интерфейс изменения таба из ViewPager в фрагменты