Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
ya_yshel_rabotati_v_teleg
@ya_yshel_rabotati_v_teleg
PHP
HTML
Apache HTTP Server
robots.txt
Будет ли нормально работать такой robots.txt?
User-agent: *
Disallow: /*
Allow: /point
Allow: /point/*
Мне нужно чтоб был запрет всему кроме
domen.com
domen.com/point
domen.com/point/2
Вопрос задан
более трёх лет назад
357 просмотров
1
комментарий
Подписаться
2
Оценить
1
комментарий
Facebook
Вконтакте
Twitter
Volodimir Babeshko
@dady_KK
Есть и в веб-мастере гугла и яндекса инструменты для проверки роботс.тхт - чем они Вам не угодили, точнее чем они никто не скажет
Написано
более трёх лет назад
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
Daemon23RUS
@Daemon23RUS
domen.com - Х
domen.com/point -V
domen.com/point/2 -V
P.S. Disallow: /* - запрещает domen.com
Allow: /point/* исключает предыдущий Allow: /point
Ответ написан
более трёх лет назад
2
комментария
Нравится
2
комментария
Facebook
Вконтакте
Twitter
ya_yshel_rabotati_v_teleg
@ya_yshel_rabotati_v_teleg
Автор вопроса
Негде не могу найти информации по использованию ключей robots.txt И как тогда получаеться должны выглядеть запись в итоге ?
Написано
более трёх лет назад
Daemon23RUS
@Daemon23RUS
ya_yshel_rabotati_v_teleg
: Вы правильно написали ключи, но не до конца поняли как они работают.
В Вашем случае я бы сделал Allow: / и добавил в строк Disallow: со списком блокируемых для индексации ресурсов в корне
Написано
более трёх лет назад
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
PHP
+2 ещё
Средний
PHP может выполнять функцию прокси curl запросов? Например между 1C и Битрикс24?
1 подписчик
6 часов назад
52 просмотра
1
ответ
HTML
+1 ещё
Средний
Скачал плагин image preview в вс коде, чтобы установить иконку сайта. Иконка появилась в браузере, но не появилась слева напротив строки. Почему так?
1 подписчик
30 сент.
81 просмотр
1
ответ
PHP
Простой
Будут ли вызваны в PHP 8.4 хуки свойств при создании объекта через PDO fetchObject?
3 подписчика
30 сент.
245 просмотров
2
ответа
PHP
Простой
Почему в PHP унарная операция от плюса к минусу работает, а обратно нет?
1 подписчик
27 сент.
203 просмотра
2
ответа
HTML
+1 ещё
Простой
От какой технической характеристики компьютера зависит скорость работы сайта, указанного ниже?
1 подписчик
24 сент.
378 просмотров
2
ответа
PHP
Простой
Как скомбинировать массивы, чтобы получить все варианты сочетаний их элементов?
1 подписчик
23 сент.
242 просмотра
3
ответа
HTML
+1 ещё
Простой
Как убрать линии у бейджиков в Markdown?
1 подписчик
23 сент.
160 просмотров
1
ответ
JavaScript
+2 ещё
Простой
Как менять картинки у карточки в списке товаров?
4 подписчика
22 сент.
250 просмотров
1
ответ
HTML
+1 ещё
Средний
Как правильно сочетать теги article, section и заголовки h1-h6?
2 подписчика
21 сент.
205 просмотров
2
ответа
PHP
+1 ещё
Простой
Можно ли писать функции в текст?
1 подписчик
19 сент.
446 просмотров
2
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
PHP разработчик
BGStaff
•
Москва
До 300 000 ₽
PHP-разработчик
Greenway Global
•
Новосибирск
от 150 000 до 250 000 ₽
Senior PHP Developer
Wisebits
от 4 000 €
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама