sefkiss
@sefkiss
Обычный человек, интересуюсь всем)

Как снизить нагрузку на сервер от поисковых роботов?

Всем привет, у меня есть ресурс расположенный на elasticweb хостинге, с оплатой за ресурсы!
YII2, NGINX
Буду приводить примеры относительно YANDEX
Страниц в поиске Яндекса: 155600
График его обхода, соответственно чем больше он обошел - тем больше я заплатил((
Вот статистика обхода!!!
5a659b6d37ec7092305971.jpeg
Подумал немного и внес изменения в SITEMAPы, changefreq сделал yearly и lastmod теперь фиксированный, а не как раньше date()!
5a659c5be6806617349524.jpeg
И вот он проиндексировал новые МАПы, и все равно также жестко ходит по страницам)))
Можно как то сделать чтобы он поменьше ходил??
  • Вопрос задан
  • 177 просмотров
Решения вопроса 1
@dmitriylanets
использовать кеш
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
Sanasol
@Sanasol
нельзя просто так взять и загуглить ошибку
https://yandex.com/support/search/robots/request-r...

Но вообще, если какая-то супер нагрузку от робота, но надо код нормальный пилить, потому что роботов полно, и большей части из них пофигу на то что вы пропишите в роботс или сайтмап.

Сайт никак не должен валиться или выжирать весь сервер при обходе ботами.
Ответ написан
155600 - это что вы такое продаете ?
или у вас научная библиотека?
Или это сотаницы тупо со всеми видами гет запросов в фильтре?
Если так то запретите индексировать их
дисаллоу в robots.txt
пропишите риал каноникал.
Закройте аяксом.
Исключите из сайтмапа.
Дай ссылочку
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
NO ONE Москва
от 150 000 до 180 000 ₽
LOFT Москва
от 80 000 до 120 000 ₽
PitchMe Санкт-Петербург
от 150 000 до 250 000 ₽
06 июн. 2020, в 11:17
500 руб./за проект
06 июн. 2020, в 11:15
33333 руб./за проект