Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
ya_yshel_rabotati_v_teleg
@ya_yshel_rabotati_v_teleg
PHP
HTML
Apache HTTP Server
robots.txt
Будет ли нормально работать такой robots.txt?
User-agent: *
Disallow: /*
Allow: /point
Allow: /point/*
Мне нужно чтоб был запрет всему кроме
domen.com
domen.com/point
domen.com/point/2
Вопрос задан
более трёх лет назад
356 просмотров
1
комментарий
Подписаться
2
Оценить
1
комментарий
Facebook
Вконтакте
Twitter
Volodimir Babeshko
@dady_KK
Есть и в веб-мастере гугла и яндекса инструменты для проверки роботс.тхт - чем они Вам не угодили, точнее чем они никто не скажет
Написано
более трёх лет назад
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
Daemon23RUS
@Daemon23RUS
domen.com - Х
domen.com/point -V
domen.com/point/2 -V
P.S. Disallow: /* - запрещает domen.com
Allow: /point/* исключает предыдущий Allow: /point
Ответ написан
более трёх лет назад
2
комментария
Нравится
2
комментария
Facebook
Вконтакте
Twitter
ya_yshel_rabotati_v_teleg
@ya_yshel_rabotati_v_teleg
Автор вопроса
Негде не могу найти информации по использованию ключей robots.txt И как тогда получаеться должны выглядеть запись в итоге ?
Написано
более трёх лет назад
Daemon23RUS
@Daemon23RUS
ya_yshel_rabotati_v_teleg
: Вы правильно написали ключи, но не до конца поняли как они работают.
В Вашем случае я бы сделал Allow: / и добавил в строк Disallow: со списком блокируемых для индексации ресурсов в корне
Написано
более трёх лет назад
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
HTML
+1 ещё
Простой
Как сверстать данную часть header?
1 подписчик
6 часов назад
66 просмотров
0
ответов
PHP
+3 ещё
Простой
Как правильно построить сервис, создающий отложенные задачи на основе расписания из другого сервиса?
2 подписчика
вчера
170 просмотров
2
ответа
JavaScript
+2 ещё
Простой
Ton — Connect UI, подключаем к фреймворку, есть ошибки при оплате, как решить?
1 подписчик
вчера
65 просмотров
0
ответов
HTML
+1 ещё
Простой
Как сделать что бы в меню были вертикальные полосы на всю высоту?
2 подписчика
вчера
175 просмотров
2
ответа
HTML
+1 ещё
Простой
Как лучше реализовать данный блок?
1 подписчик
вчера
84 просмотра
2
ответа
JavaScript
+1 ещё
Простой
Как прочитать файл через РНР, чтобы обработать его яваскриптом?
2 подписчика
10 мар.
1652 просмотра
3
ответа
JavaScript
+1 ещё
Средний
Сканирование QR в поле input. Как реализовать блокировку нажатия клавиш клавиатуры?
1 подписчик
06 мар.
137 просмотров
2
ответа
HTML
Простой
Можно ли как то заменить button на type="radio" MiniShop2?
1 подписчик
05 мар.
56 просмотров
1
ответ
JavaScript
+2 ещё
Средний
Почему FullCalendar не правильно отображает диапазоны событий (в клиентской части)?
1 подписчик
04 мар.
101 просмотр
1
ответ
HTML
Простой
Как в файлах формата mhtml запретить переход по ссылкам?
2 подписчика
02 мар.
549 просмотров
2
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Middle PHP-developer / PHP-разработчик
Wanted.
До 250 000 ₽
Backend-разработчик PHP
Wanted.
•
Москва
До 160 000 ₽
PHP-разработчик
Decart IT-production
от 260 000 до 340 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама