Как правильно использовать RecyclerView в RecyclerView?

Question

[folsout]

Собственно говоря вопрос в том как правильно использовать RecyclerView в RecyclerView, потому что при моем подходе, элементы вместо того чтобы подгружаться в каждый элемент списка, отображаются в одном элементе. а следующий пустой.

public class CategoryRecyclerAdapter extends RecyclerView.Adapter<CategoryRecyclerAdapter.CategoryViewHolder> {
    private List<CategoryReference> categoryReferences;
    private Context context;


    public CategoryRecyclerAdapter(List<CategoryReference> categoryReferences, Context context) {
        this.categoryReferences = categoryReferences;
        this.context = context;
    }

    @Override
    public CategoryViewHolder onCreateViewHolder(ViewGroup parent, int viewType) {
        View view = LayoutInflater.from(parent.getContext()).inflate(R.layout.item_recycler_reference, parent, false);
        CategoryViewHolder categoryViewHolder = new CategoryViewHolder(view);
        return categoryViewHolder;
    }

    @Override
    public void onBindViewHolder(CategoryViewHolder holder, int position) {
        holder.categoryName.setText(categoryReferences.get(position).getCategoryName());
        LinearLayoutManager horizontalLayoutManager = new LinearLayoutManager(context, LinearLayoutManager.HORIZONTAL, false);
        holder.recycleItemReference.setLayoutManager(horizontalLayoutManager);
        holder.recycleItemReference.setAdapter(new ReferenceRecyclerAdapter(categoryReferences.get(position).getReferencesList()));

    }

    @Override
    public int getItemCount() {
        return categoryReferences.size();
    }

    public static class CategoryViewHolder extends RecyclerView.ViewHolder{
        TextView categoryName;
        RecyclerView recycleItemReference;
        public CategoryViewHolder(View itemView) {

            super(itemView);
            categoryName = itemView.findViewById(R.id.tv_category_name);
            recycleItemReference = itemView.findViewById(R.id.reference_pager);

        }
    }
}