sefkiss
@sefkiss
Обычный человек, интересуюсь всем)

Как снизить нагрузку на сервер от поисковых роботов?

Всем привет, у меня есть ресурс расположенный на elasticweb хостинге, с оплатой за ресурсы!
YII2, NGINX
Буду приводить примеры относительно YANDEX
Страниц в поиске Яндекса: 155600
График его обхода, соответственно чем больше он обошел - тем больше я заплатил((
Вот статистика обхода!!!
5a659b6d37ec7092305971.jpeg
Подумал немного и внес изменения в SITEMAPы, changefreq сделал yearly и lastmod теперь фиксированный, а не как раньше date()!
5a659c5be6806617349524.jpeg
И вот он проиндексировал новые МАПы, и все равно также жестко ходит по страницам)))
Можно как то сделать чтобы он поменьше ходил??
  • Вопрос задан
  • 339 просмотров
Решения вопроса 1
dmitriylanets
@dmitriylanets
веб-разработчик
использовать кеш
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
Sanasol
@Sanasol
нельзя просто так взять и загуглить ошибку
https://yandex.com/support/search/robots/request-r...

Но вообще, если какая-то супер нагрузку от робота, но надо код нормальный пилить, потому что роботов полно, и большей части из них пофигу на то что вы пропишите в роботс или сайтмап.

Сайт никак не должен валиться или выжирать весь сервер при обходе ботами.
Ответ написан
155600 - это что вы такое продаете ?
или у вас научная библиотека?
Или это сотаницы тупо со всеми видами гет запросов в фильтре?
Если так то запретите индексировать их
дисаллоу в robots.txt
пропишите риал каноникал.
Закройте аяксом.
Исключите из сайтмапа.
Дай ссылочку
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы