Да влияет, по крайне мере в гугл
Недавно было
исследование и большинство сайтов в топе быстро загружались, хотя это не единственно-важный фактор, разумеется. Плюс тут играет поведенческий фактор, снижается показатель отказов.
Ну и не просто так гугл выкатил проверку скорости загрузки сайтов и amp-страницы, тут логично, что они придают этому значение