когда RecyclerView лежит в NestedScrollView, то он выстраивает весь свой список и смысл RecyclerView теряется, так как все равно отрисовывается весь список, и никакой ресайклинг не происходит. В таком случае скрол происходит не в RecyclerView, а в NestedScrollView.
