Влияет, «быстрый» хостинг дает баллы в Вашу пользу. Причем, даже имеет значение скорость работы DNS-серверов для Вашего домена. Кстати, IP-адреса хостинга влияют на географический таргетинг, вне зависимости от других геолокационных данных.
Но на 100% конечно никто не скажет, выше привел относительно устоявшиеся мнения.