Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
ya_yshel_rabotati_v_teleg
@ya_yshel_rabotati_v_teleg
PHP
HTML
Apache HTTP Server
robots.txt
Будет ли нормально работать такой robots.txt?
User-agent: *
Disallow: /*
Allow: /point
Allow: /point/*
Мне нужно чтоб был запрет всему кроме
domen.com
domen.com/point
domen.com/point/2
Вопрос задан
более трёх лет назад
356 просмотров
1
комментарий
Подписаться
2
Оценить
1
комментарий
Facebook
Вконтакте
Twitter
Volodimir Babeshko
@dady_KK
Есть и в веб-мастере гугла и яндекса инструменты для проверки роботс.тхт - чем они Вам не угодили, точнее чем они никто не скажет
Написано
более трёх лет назад
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
Daemon23RUS
@Daemon23RUS
domen.com - Х
domen.com/point -V
domen.com/point/2 -V
P.S. Disallow: /* - запрещает domen.com
Allow: /point/* исключает предыдущий Allow: /point
Ответ написан
более трёх лет назад
2
комментария
Нравится
2
комментария
Facebook
Вконтакте
Twitter
ya_yshel_rabotati_v_teleg
@ya_yshel_rabotati_v_teleg
Автор вопроса
Негде не могу найти информации по использованию ключей robots.txt И как тогда получаеться должны выглядеть запись в итоге ?
Написано
более трёх лет назад
Daemon23RUS
@Daemon23RUS
ya_yshel_rabotati_v_teleg
: Вы правильно написали ключи, но не до конца поняли как они работают.
В Вашем случае я бы сделал Allow: / и добавил в строк Disallow: со списком блокируемых для индексации ресурсов в корне
Написано
более трёх лет назад
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
HTML
+1 ещё
Простой
Как настроить размер видео из Вконтакте?
2 подписчика
4 часа назад
207 просмотров
1
ответ
JavaScript
+2 ещё
Простой
Как поменять свет линии при нажатии?
1 подписчик
20 часов назад
105 просмотров
1
ответ
PHP
+1 ещё
Средний
Как получить статус доставки сообщения firebase cloud messaging?
1 подписчик
вчера
71 просмотр
1
ответ
HTML
+1 ещё
Простой
Как выложить игру в Яндекс игры?
1 подписчик
вчера
142 просмотра
1
ответ
PHP
+1 ещё
Средний
Почему на двух доменах один сайт грузиться с разной скоростью?
1 подписчик
вчера
194 просмотра
1
ответ
PHP
+1 ещё
Простой
API bot TG — Как мне узнать, на какой вопрос ответили?
1 подписчик
29 июн.
116 просмотров
3
ответа
HTML
+1 ещё
Простой
Как выровнить в колонку фотки как на макете?
1 подписчик
28 июн.
83 просмотра
1
ответ
JavaScript
+1 ещё
Сложный
Как оптимизировать загрузку и парсинг больших JS файлов со стороны браузера/клиента?
1 подписчик
27 июн.
169 просмотров
4
ответа
PHP
+1 ещё
Средний
Почему при отправке push-уведомления service-worker выходит ошибка 404?
1 подписчик
27 июн.
84 просмотра
0
ответов
HTML
+1 ещё
Средний
Как выровнять текст и картинку внутри ссылки?
1 подписчик
26 июн.
130 просмотров
1
ответ
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
PHP-developer / PHP-разработчик
Wanted
До 250 000 ₽
Senior PHP Developer (Yii2)
Americor
•
Москва
от 4 000 $
PHP-разработчик
Wanted
До 300 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама