Задать вопрос
@softshape
robots.txt

Как выборочно закрыть сайт для поисковых роботов?

Слишком много развелось роботов. Как выборочно можно закрыть для них сайт? Оставить GoogleBot, YandexBot, ну и все - всякие Megaindex только создают лишнюю нагрузку на сайт. Как от них точечно избавиться?
  • Вопрос задан
  • 105 просмотров
Комментировать
Подписаться 1 Оценить Комментировать
Пригласить эксперта
Ответы на вопрос 2
alsopub
@alsopub
Вы правильно казали тэг - robots.txt - отсюда и надо плясать.
Например - www.pixelplus.ru/samostoyatelno/stati/indeksatsiya...
Или что-то конкретное не получается или не находится способ сделать это?
Ответ написан
1 комментарий
1 комментарий
sashkets
@sashkets
Прекратил отвечать после 24.02.2022
сети поисковых роботов
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Платформенный инженер
ИТ Плюс • Пермь
от 250 000 ₽
Senior Backend Engineer в агрегатор нейросетей (150к DAU)
NN Media
от 300 000 до 500 000 ₽
Тестировщик SberOs
Сбер • Санкт-Петербург
от 80 000 до 150 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Создание и публикация короткого (reels) UGC-видео на YouTube-канале
25 апр. 2024, в 01:46
500 руб./за проект
Настроить перехват https-трафика для android-приложения
25 апр. 2024, в 01:02
10000 руб./за проект
Программа (скрипт) для автоматизации торговли Solana
25 апр. 2024, в 00:45
100 руб./в час
Ещё заказы