Случайно нашел на сайте одной организации гигантские архивы рандомных гуглозапросов каких-то пользователей. Причем архивируются именно картинки, прямо в директории вебсайта на верхнем уровне лежат тонны директорий со случайными именами, в каждой несколько тысяч html страниц, одна страница - один запрос, в странице как я понимаю картинки связанные с этим поисковым запросом, не скачанные, а живые URLы. Запросы достаточно рандомные и в подавляющем большинстве невинные. На сайте есть эндпоинт по адресу "<сайт>/render?url=
https://google.com", как то это связано мне кажется, но не могу понять ни механизма, ни того чьи запросы считываются, ни того нафига кому-то это делать. Есть сайтмапа, каждый раздел весит по нескольку сотен мегабайт xmlки, то есть там буквально сотни тысяч запросов. А вы такое видели когда-то?