Почему при парсинги в контенте некоторых сайтах в место содержимого появляется «Retry later»?

Question

[Владислав]

Я пишу приложения, которое переходит по ссылкам, и парсит сайты. В теле одного из них периодически появляется надпись "Retry later", при этом если поставить точку остановки и выполнять код нажимая f11 такого нет, и никакой ошибки не происходит. В чём может быть дело?

Comments

[v3shin]

Может быть защита от ddos'а. Вы бы хоть таймаут на парсинг поставили.

[Владислав]

v3shin, Да, когда я поставил задержку в 310 миллисекунд всё заработала правильно