Как сократить количество допустимых запросов от поисковых роботов?

Question

[Aljo]

Здравствуйте!
Есть простой сайт компании, которая занимается продажей товаров с Aliexpress и т.п.
На сайте есть страница "Товары для партнеров", на которой выводятся товары, которые можно закупить оптом. Все товары подтягиваются с сайта поставщика, путем запросов на его IP.
Так вот он пишет, что с нашего сайта видимо поисковые боты, постоянно проходя по страницам пагинации, шлют запросы и нагружают его сервер.
Подскажите что и как можно сделать? Направьте пожалуйста.

p.s. Также нашел в интернете функцию PHP, которая проверяет юзер-агент и сравнивает его с известным списком ботов - добавил её в функцию, которая отвечает за запросы, чтобы она не отрабатывала, если это бот, но видимо не срабатывает.

if (isBot($_SERVER['HTTP_USER_AGENT'])) {
    return;    
}

Comments

[Дмитрий]

Кэш например сделать, не думаю что за какой нибудь час там все глобально может измениться

Answer 1

[Максим Тимофеев]

проблема же не в поисковых роботах. Кроме роботов и пользователи могут создать нагрузку и парсеры и черт знает что еще. Проблема в отсутствии кэша. Кэшируйте запросы к их API

Answer 2

[rPman]

Поисковые боты не 'ходят с сайтов', у них не должно стоять заголовка referer.

Вашей вины не может быть в данном случае, скорее всего это кто то парсит сайт вашего партнера, странно что он указывает реферером ваш сайт, но повторяю, вы не можете быть ответственным за это.

Если же это обычные запросы и кто то жалуется что люди ходят по ссылкам с вашего сайта на чужой и это создает ему нагрузку.... уберите эти ссылки, но что то мне говорит что их наличие и есть часть партнерства.

Comments

[Aljo]

если робот зайдет на страницу "Товары для партнеров", то с нашего сайта будет слаться запрос на его, чтобы получить данные о товарах. Он имеет в виду, что эту страницу постоянно открывают и мол ходят по пагинации на ней. Это невозможно?

[rPman]

что значит 'с нашего сайта будет слаться запрос'?

Ваши серверные скрипты делают запросы на сайт партнера на каждый заход пользователя на ваш сайт?

[Aljo]

rPman,

Ваши серверные скрипты делают запросы на сайт партнера на каждый заход пользователя на ваш сайт?

Да...таким он достался

[rPman]

кешируйте ответ, если это возможно, и не отсылайте его на каждый запрос