Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
ivgenij7
@ivgenij7
robots.txt
Как запретить роботу ходить по урл с двумя //?
очень нужно запретить роботу ходить по урл с двумя // как бы это сделать?
урл такого вида site.ru/category1/sub-category1/sub-category2/page1
на сайте косяк с переленковкой и получаются дубли site.ru/category1/sub-category1/sub-category2
//
page1
Вопрос задан
более трёх лет назад
105 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
Андрей Андриевский
@andrievski88
SEO + маркетинг + веб программаривание.
Disallow: *//
Ответ написан
более трёх лет назад
3
комментария
Нравится
3
комментария
Facebook
Вконтакте
Twitter
ivgenij7
@ivgenij7
Автор вопроса
не запрещяет
Написано
более трёх лет назад
Андрей Андриевский
@andrievski88
ivgenij7
: тогда так
site.ru/category1/sub-category1/sub-category2//*
Написано
более трёх лет назад
ivgenij7
@ivgenij7
Автор вопроса
Андрей Андриевский
: значит не как ( просто категорий и суб категорий много с разными названиями.
Написано
более трёх лет назад
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
WordPress
+2 ещё
Простой
Как закрыть индексацию корзины в Wordpress?
1 подписчик
27 сент. 2024
136 просмотров
1
ответ
robots.txt
Простой
Как запретить в robots.txt параметры с #?
1 подписчик
09 сент. 2024
57 просмотров
2
ответа
robots.txt
Сложный
Проблема с файлом robots.txt в Google Search Console. Откуда он его берет?
1 подписчик
16 мая 2024
277 просмотров
3
ответа
Поисковая оптимизация
+1 ещё
Простой
Как скрыть от ботов-поисковиков алиас сайта с помощью robots.txt?
1 подписчик
08 мая 2024
73 просмотра
2
ответа
Windows
+3 ещё
Простой
При открывании csv файла в формате .txt появляются символы ("" и ;) как можно открыть csv файл без символов; и «»?
1 подписчик
27 апр. 2024
174 просмотра
0
ответов
robots.txt
Простой
Можно ли ограничить в robots.txt страницы с символами в конце?
1 подписчик
27 февр. 2024
62 просмотра
0
ответов
Google
+1 ещё
Средний
Почему google не видит robots.txt?
2 подписчика
более года назад
412 просмотров
2
ответа
Поисковая оптимизация
+2 ещё
Простой
Как частично закрыть от индекса /xfsearch/?
1 подписчик
более года назад
70 просмотров
1
ответ
robots.txt
Простой
Файл robots.txt функционирует не правильно, что делать?
1 подписчик
более года назад
62 просмотра
1
ответ
Поисковая оптимизация
+1 ещё
Средний
Robots.txt в индексе, это нормально?
1 подписчик
более года назад
91 просмотр
2
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Руководитель направления информационной безопасности ОКИИ
Интер РАО – Управление сервисами
•
Санкт-Петербург
от 180 000 ₽
Senior PHP Symfony разработчик
FreeX Solutions
•
Москва
от 250 000 до 400 000 ₽
Data Engineer
Автомакон
•
Москва
от 250 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама