Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
ivgenij7
@ivgenij7
robots.txt
Как запретить роботу ходить по урл с двумя //?
очень нужно запретить роботу ходить по урл с двумя // как бы это сделать?
урл такого вида site.ru/category1/sub-category1/sub-category2/page1
на сайте косяк с переленковкой и получаются дубли site.ru/category1/sub-category1/sub-category2
//
page1
Вопрос задан
более трёх лет назад
105 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
Андрей Андриевский
@andrievski88
SEO + маркетинг + веб программаривание.
Disallow: *//
Ответ написан
более трёх лет назад
3
комментария
Нравится
3
комментария
Facebook
Вконтакте
Twitter
ivgenij7
@ivgenij7
Автор вопроса
не запрещяет
Написано
более трёх лет назад
Андрей Андриевский
@andrievski88
ivgenij7
: тогда так
site.ru/category1/sub-category1/sub-category2//*
Написано
более трёх лет назад
ivgenij7
@ivgenij7
Автор вопроса
Андрей Андриевский
: значит не как ( просто категорий и суб категорий много с разными названиями.
Написано
более трёх лет назад
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
htaccess
+2 ещё
Простой
Вебмастер: Страницы-дубли с GET-параметрами?
1 подписчик
27 мар.
171 просмотр
3
ответа
Поисковая оптимизация
+3 ещё
Простой
Какой путь исправления проблемы (sitemap.xml с дублями) для Яндекс поиска правильнее?
1 подписчик
27 февр.
146 просмотров
4
ответа
WordPress
+2 ещё
Простой
Как закрыть индексацию корзины в Wordpress?
1 подписчик
27 сент. 2024
179 просмотров
1
ответ
robots.txt
Простой
Как запретить в robots.txt параметры с #?
1 подписчик
09 сент. 2024
60 просмотров
2
ответа
robots.txt
Сложный
Проблема с файлом robots.txt в Google Search Console. Откуда он его берет?
1 подписчик
более года назад
421 просмотр
3
ответа
Поисковая оптимизация
+1 ещё
Простой
Как скрыть от ботов-поисковиков алиас сайта с помощью robots.txt?
1 подписчик
более года назад
75 просмотров
2
ответа
Windows
+3 ещё
Простой
При открывании csv файла в формате .txt появляются символы ("" и ;) как можно открыть csv файл без символов; и «»?
1 подписчик
более года назад
178 просмотров
0
ответов
robots.txt
Простой
Можно ли ограничить в robots.txt страницы с символами в конце?
1 подписчик
более года назад
67 просмотров
0
ответов
Google
+1 ещё
Средний
Почему google не видит robots.txt?
2 подписчика
более года назад
461 просмотр
2
ответа
Поисковая оптимизация
+2 ещё
Простой
Как частично закрыть от индекса /xfsearch/?
1 подписчик
более года назад
74 просмотра
1
ответ
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
System Analyst
Zenfox Media
от 2 500 до 3 000 $
Data Engineer\ Разработчик БД SQL
Data World
•
Санкт-Петербург
До 230 000 ₽
Team Lead | Команда сайта small.kz
Small
•
Алматы
от 4 000 до 5 000 $
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама