@aljo222
В процессе обучения веб-разработке

Как сократить количество допустимых запросов от поисковых роботов?

Здравствуйте!
Есть простой сайт компании, которая занимается продажей товаров с Aliexpress и т.п.
На сайте есть страница "Товары для партнеров", на которой выводятся товары, которые можно закупить оптом. Все товары подтягиваются с сайта поставщика, путем запросов на его IP.
Так вот он пишет, что с нашего сайта видимо поисковые боты, постоянно проходя по страницам пагинации, шлют запросы и нагружают его сервер.
Подскажите что и как можно сделать? Направьте пожалуйста.

p.s. Также нашел в интернете функцию PHP, которая проверяет юзер-агент и сравнивает его с известным списком ботов - добавил её в функцию, которая отвечает за запросы, чтобы она не отрабатывала, если это бот, но видимо не срабатывает.
if (isBot($_SERVER['HTTP_USER_AGENT'])) {
    return;    
}
  • Вопрос задан
  • 60 просмотров
Решения вопроса 1
webinar
@webinar Куратор тега PHP
Учим yii: https://youtu.be/-WRMlGHLgRg
проблема же не в поисковых роботах. Кроме роботов и пользователи могут создать нагрузку и парсеры и черт знает что еще. Проблема в отсутствии кэша. Кэшируйте запросы к их API
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
@rPman
Поисковые боты не 'ходят с сайтов', у них не должно стоять заголовка referer.

Вашей вины не может быть в данном случае, скорее всего это кто то парсит сайт вашего партнера, странно что он указывает реферером ваш сайт, но повторяю, вы не можете быть ответственным за это.

Если же это обычные запросы и кто то жалуется что люди ходят по ссылкам с вашего сайта на чужой и это создает ему нагрузку.... уберите эти ссылки, но что то мне говорит что их наличие и есть часть партнерства.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы