Я занимаюсь SEO и мне достался довольно большой по объему урлов проект с пока небольшим кол-вом посещений в месяц (50-70к).
Страниц на сайте десятки миллионов, но боты ходят неохотно (30-40к от одного бота в день, хотя, как говорят админы, лимиты нигде не стоят).
Но при одном из сканов сайта тулзой Бинга полезли ошибки Timed out errors (occurs when our bots try to access your server and unable to do it lack of availability of server). В вебмастерке этих 5хх ошибок нет, но очевидно боты не всегда могут получить ответ сервера. Это может влиять на трафик из поисковых систем.
Технари говорят, что все путем и быть такого не может - сайт обрабатывает 30 потоков и эти данные не расходуются.
Как мне данные нужно запросить, чтобы удостовериться в возможности серверов получать нагрузку без проблем с timed out errors? Для сайтам с таким количеством урлов желательно иметь нагрузку от ботов в 300-700тыс заходов в день.
Средний
Средний
