Валидация происходит по заголовкам. Есть официальный список заголовков поисковых машин. Это раз.
Два - блокировка производится по региону, за исключением ботов.
Три - вы правы, логика сайта тут не при чем. Это делают на уровне маршрутизации трафика: CDN (Cloudfront, Cloudflare и т.п.)