Добрый день, возник вопрос после анализа логов сайта.
При входе на любую новосозданную страницу (и даже страницу с 404) через пару секунд заходит бот с IP 92.242.35.54 и User-Agent: WebIndex.
Причем данная закономерность, судя по логам, находится не только у меня, а у достаточно большого количества пользователей. Найти данные страницы через навигацию невозможно (закрытые разделы сайта), т.е. явно что браузер передает куда — то историю посещений.
Из того что проверял, отправлял запросы, на счетчик liveinternet и второй счетчик.
Заходил без плагинов в браузере. (chrome)
Если обращаться к сайту через BurpSuite, то бот не заходит.
Поиск в интернете результатов не дал, хотя вопрос задавали разные люди.
PS. Вчера по ошибке разместил пост на habr, дико извиняюсь, был уверен что размещаю на toster.
Средний
Простой
