Ну взять даже то, что в PageSpeed Insights в моб. варианте у Вас 48%, а в десктопном 58%!
В моб. версии у Вас ответ сервера 1,3сек(!), в десктопной 1,2с(!) - при допустимом 0,2с!!!!
На позицию влияют такие мелочи, о которых Вы бы никогда и не подумали. Просто одни факторы имею больший вес (заметный), другие меньший и кажется будто это "ничего не дало".
Читайте мануалы ПС, у них все написано практически по любому вопросу разжевано...