Есть сайт www.all-smety.ru на нём стоит авторизация через HTTP, поисковики и программы аудита типа Xenu и Screaming frog выдают ошибку 503, при том что страницы доступны. Может кто сталкивался с подобным ?
Сайт стоит на битриксе, в разделе аналитики переходы с поисковиков не учитываются, в вебмастере яндекса всё ок с этим.
Элементарная защита от парсеров/скраперов. Если в Xenu поставить в 1 поток - то все нормально отрабатывает. Скорей всего реагирует на IP + UserAgent + частота запросов.
Простой
