Здравствуйте, возникла следующая проблема.
На сайт ходит bingbot и пытается найти разные книги.Обращаясь к несуществующим страницам.
Сайт с книгами никак не связан.Такое поведение замечено только за bingbot, боты гугла и яндекса ведут себя нормально.С чем может быть связанно такое поведение,кто с таким сталкивался?Как решали такие проблемы?Спасибо.
207.46.13.60 - - [23/Dec/2015:16:13:31 +0300] "GET /pages/benzopily-skachat-knigu HTTP/1.1" 404 970 "-" "Mozilla/5.0 (compatible; bingbot/2.0;
www.bing.com/bingbot.htm)"
207.46.13.85 - - [23/Dec/2015:06:39:01 +0300] "GET /pages/andrey-konstantinov-skachat-knigu HTTP/1.1" 404 970 "-" "Mozilla/5.0 (compatible; bingbot/2.0;
www.bing.com/bingbot.htm)"
207.46.13.59 - - [22/Dec/2015:15:41:29 +0300] "GET /pages/allena-karra-skachat-knigu HTTP/1.1" 404 970 "-" "Mozilla/5.0 (compatible; bingbot/2.0;
www.bing.com/bingbot.htm)"