Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
ivgenij7
@ivgenij7
robots.txt
Как запретить роботу ходить по урл с двумя //?
очень нужно запретить роботу ходить по урл с двумя // как бы это сделать?
урл такого вида site.ru/category1/sub-category1/sub-category2/page1
на сайте косяк с переленковкой и получаются дубли site.ru/category1/sub-category1/sub-category2
//
page1
Вопрос задан
более трёх лет назад
106 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Помогут разобраться в теме
Все курсы
Яндекс Практикум
Python-разработчик
10 месяцев
Далее
Skillfactory
DevOps-инженер
6 месяцев
Далее
Нетология
Python-разработчик с нуля
6 месяцев
Далее
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
Андрей Андриевский
@andrievski88
SEO + маркетинг + веб программаривание.
Disallow: *//
Ответ написан
более трёх лет назад
3
комментария
Нравится
3
комментария
Facebook
Вконтакте
Twitter
ivgenij7
@ivgenij7
Автор вопроса
не запрещяет
Написано
более трёх лет назад
Андрей Андриевский
@andrievski88
ivgenij7
: тогда так
site.ru/category1/sub-category1/sub-category2//*
Написано
более трёх лет назад
ivgenij7
@ivgenij7
Автор вопроса
Андрей Андриевский
: значит не как ( просто категорий и суб категорий много с разными названиями.
Написано
более трёх лет назад
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
htaccess
+2 ещё
Простой
Вебмастер: Страницы-дубли с GET-параметрами?
1 подписчик
27 мар.
227 просмотров
4
ответа
Поисковая оптимизация
+3 ещё
Простой
Какой путь исправления проблемы (sitemap.xml с дублями) для Яндекс поиска правильнее?
1 подписчик
27 февр.
162 просмотра
5
ответов
WordPress
+2 ещё
Простой
Как закрыть индексацию корзины в Wordpress?
1 подписчик
более года назад
262 просмотра
1
ответ
robots.txt
Простой
Как запретить в robots.txt параметры с #?
1 подписчик
более года назад
63 просмотра
2
ответа
robots.txt
Сложный
Проблема с файлом robots.txt в Google Search Console. Откуда он его берет?
1 подписчик
более года назад
503 просмотра
3
ответа
Поисковая оптимизация
+1 ещё
Простой
Как скрыть от ботов-поисковиков алиас сайта с помощью robots.txt?
1 подписчик
более года назад
78 просмотров
2
ответа
Windows
+3 ещё
Простой
При открывании csv файла в формате .txt появляются символы ("" и ;) как можно открыть csv файл без символов; и «»?
1 подписчик
более года назад
190 просмотров
0
ответов
robots.txt
Простой
Можно ли ограничить в robots.txt страницы с символами в конце?
1 подписчик
более года назад
70 просмотров
0
ответов
Google
+1 ещё
Средний
Почему google не видит robots.txt?
2 подписчика
более года назад
488 просмотров
2
ответа
Поисковая оптимизация
+2 ещё
Простой
Как частично закрыть от индекса /xfsearch/?
1 подписчик
более года назад
78 просмотров
1
ответ
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Руководитель проектов по цифровому развитию клиентов в сфере недвижимости (CSM)
Сбер
•
Санкт-Петербург
от 200 000 ₽
Java Developer (Клик)
Сбер
•
Москва
от 400 000 ₽
Системный аналитик (Мои Сервисы)
Сбер
•
Москва
от 300 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама