В общем, нашел решение сам. Как оказалось, подобная проблема, когда RecyclerView скролится к первой рекламе существует на некоторых версиях android support lib. И для того чтобы решить эту проблему нужно добавить вот этот атрибут - android:descendantFocusability="blocksDescendants" в макет RecyclerView.
Эта строка обозначает, что все потомки от макета родителя не будут получать больше внимания