я вот так разрешил любому боту предзагрузку 20% сайта, nginx:
location /.well-known/traffic-advice {
default_type "application/trafficadvice+json; charset=utf-8";
return 200 '[{"user_agent":"prefetch-proxy","fraction": 0.2}]';
}
можно запретить предзагрузку:
location /.well-known/traffic-advice {
default_type "application/trafficadvice+json; charset=utf-8";
return 200 '[{"user_agent": "prefetch-proxy", "disallow": true}]';
}
или пусть гуглопроксибот подгружает весь сайт
location /.well-known/traffic-advice {
default_type "application/trafficadvice+json; charset=utf-8";
return 200 '[{"user_agent":"prefetch-proxy","google_prefetch_proxy_eap":{"fraction": 1.0}}]';
}