С какой скоростью работают поисковые боты?

Question

[Baxterok]

Вот интересно, почему на популярных сайтах поисковых ботов не блокируют как возможную ддос атаку? Это из-за их медленной работы или сервера их определяют и дают возможность работать?

Answer 1

[Сергей Протько]

просто для больших сайтов это пшик. Просто как еще один пользователь который лазает по страницам.

Comments

[Baxterok]

Ну, нормальный же пользователь просто физически не сможет за минуту зайти на 1000 страниц.

[GavriKos]

Если полдьзователь выкачивает сайт целиком (каким нибудь Teleport Pro) - запросто успеет. Да и все равно 1000 страниц в минуту - не критично. Естественно речь о нормально написаном сайте и нормально сконфигурированном сервере.

Answer 2

[Пума Тайланд]

99 процентов сайтов никак не блокирует каких либо ботов

Answer 3

[Myateznik]

У большинства поисковых ботов установлено правило: 1 страница = 1 секунда. Надо также учитывать, что у ботов есть некоторая очередь, где страницы разных сайтов находятся вперемешку. Благодаря правилу и особенности работы поисковых ботов, они не являются DDOS угрозой, также как и человек открывший сразу 2 страницы одного сайта за ~2 секунды.

(Индексирование тысяч страниц за промежуток времени обеспечивается количеством ботов. 1000 страниц в минуту = 16-17 параллельно работающих ботов)