Задать вопрос

Dimonchik

non progredi est regredi

4611

вклад
2

вопроса
13154

ответа
17%

решений

Ответы пользователя по тегу robots.txt

Почему не индексируются все страницы в яндексе?

Dimonchik @dimonchik2013
non progredi est regredi

это - ваш сайт

а это - сайт на том же IP

комментарии излишни

ну а потом надо СЕО заняться: два слова на странице - это не СЕО

Ответ написан более года назад

4 комментария

4 комментария
Как убрать лишние ссылки из индекса?

Dimonchik @dimonchik2013
non progredi est regredi

canonical на страницы с параметрами добавь

роботс - да, но не мгновенно

Ответ написан более года назад
Как открыть сайт для робота Google Ads (Merchant), но закрыть от поискового робота, чтобы сайт не индексировался в Google (в органике)?

Dimonchik @dimonchik2013
non progredi est regredi

добавь в роботс allow бота Ads, он отличается от гуглового

Ответ написан более двух лет назад

Комментировать

Комментировать
Как запретить индексацию адресов с верхним регистром символов?

Dimonchik @dimonchik2013
non progredi est regredi

по маске никак

стндарт robots не различает регистр, пропишешь - залочишь и с маленькими

так что только на сайте 302 редирект на маленькую

Ответ написан более трёх лет назад

Комментировать

Комментировать
Как запретить ботов для индексации сайта?

Dimonchik @dimonchik2013
non progredi est regredi

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Disallow: /

но на практике этого мало и нужно по логам еще блочить левые IP

Ответ написан более трёх лет назад

Комментировать

Комментировать
Правильно ли я заполнил robots.txt?

Dimonchik @dimonchik2013
non progredi est regredi

если не хотите чтобы были доступны - нужно

Ответ написан более трёх лет назад

Комментировать

Комментировать
Почему google и яндекс не видят сайт?

Dimonchik @dimonchik2013
non progredi est regredi

так как не может получить доступ.

тут разбирайся

снеси роботс
проверь
дело вряд ли в нем окажется

Ответ написан более трёх лет назад

Комментировать

Комментировать
Как разрешить/запретить индексацию определенных страниц в дереве?

Dimonchik @dimonchik2013
non progredi est regredi

только номера никак

а по (2) пишите ваш вариант

Ответ написан более трёх лет назад

Комментировать

Комментировать
Как разрешить поисковым роботам иметь доступ к сайту, когда в htaccess стоит запрет на доступ из зарубежных стран?

Dimonchik @dimonchik2013
non progredi est regredi

Гугл ходит из США, Яндекс из России и Турции

если они разрешены - можно почти не париться

проверки Гугла бывают из Индии и Филиппин, например

Ответ написан более трёх лет назад

6 комментариев

6 комментариев
Каким образом использовать знак вопроса в robotx.txt?

Dimonchik @dimonchik2013
non progredi est regredi

https://moz.com/learn/seo/robotstxt

обычный
но * ты забыл

Ответ написан более трёх лет назад

2 комментария

2 комментария
Как решить проблему CDN и robots.txt для google?

Dimonchik @dimonchik2013
non progredi est regredi

robots пускайте или мимо CDN или управляйте его кешированием/обновлением - пушьте то есть (не все CDN это позволяют)

Ответ написан более трёх лет назад

Комментировать

Комментировать
Как запретить индексироваться страницы вида?

Dimonchik @dimonchik2013
non progredi est regredi

придется указать явно все варианты

disallow /news/79967/*

вариант /news/*/* типа неопределен, но можно поиграться с noindex и canonical

Ответ написан более трёх лет назад

Комментировать

Комментировать
Как отдавать поисковому роботу версию сайта с оригинальными путями?

Dimonchik @dimonchik2013
non progredi est regredi

useragent

только такое чревато баном, да и сам концепт "с другого сайта" - бред

Ответ написан более трёх лет назад

4 комментария

4 комментария
Как запретить индексацию зеркала?

Dimonchik @dimonchik2013
non progredi est regredi

хромом зашел - вот и произошел

выкинуть легко - Гугл Вебмастерс в помощь, и роботс на зеркале поправь

Ответ написан более трёх лет назад

4 комментария

4 комментария
Можно ли прописать правило в robots.txt запрещающее индексировать страницы урл которых содержит определенный фрагмента текста ссылки?

Dimonchik @dimonchik2013
non progredi est regredi

изучай

Ответ написан более трёх лет назад

Комментировать

Комментировать
Почему количество пользователей не соответствует реальному?

Dimonchik @dimonchik2013
non progredi est regredi

вы ли знаете, каково реальное

все 700 - живые залогиненные с подтвержденным телефоном? тогда надо смотреть как и где Аналитикс стоит и что и куда отправляет

Ответ написан более трёх лет назад

5 комментариев

5 комментариев
Что обозначает * в robots.txt?

Dimonchik @dimonchik2013
non progredi est regredi

https://ru.wikipedia.org/wiki/%D0%A8%D0%B0%D0%B1%D...

вопрос знак в роботс как вайлдкард не работает

Ответ написан более трёх лет назад

Комментировать

Комментировать
Как сделать редирект с двух слешей на один?

Dimonchik @dimonchik2013
non progredi est regredi

найти в контроллере и поправить

Ответ написан более трёх лет назад

Комментировать

Комментировать

Самые активные сегодня

CityCat4
- 3 ответа
- 0 вопросов
Drno
- 2 ответа
- 0 вопросов
rPman
- 2 ответа
- 0 вопросов
VoidVolker
- 2 ответа
- 0 вопросов
historydev
- 2 ответа
- 0 вопросов
Родион Косков
- 1 ответ
- 1 вопрос

Войдите на сайт