@ince

Зайдет ли поисковой робот на мой сайт, если на нем нет robots.txt?

Зайдет ли поисковой робот на мой сайт, если на нем нет robots.txt?
  • Вопрос задан
  • 142 просмотра
Решения вопроса 3
FeNUMe
@FeNUMe
Зайдет конечно. Но если вы не добавите сайт в базу поисковика(через консоль вебмастера) или не разместите ссылки на других индексируемых сайтах, то ждать придется вечность.
Ответ написан
anton_reut
@anton_reut
Начинающий веб-разработчик
robots.txt - это способ ОГРАНИЧЕНИЯ для роботов, а не способ разрешения.
Ответ написан
@NinjaNickName
Web разработчик
Да

Что такое файл robots.txt?

Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно или нельзя обрабатывать. Используйте его, чтобы ограничить количество запросов, которые получает ваш сервер, и снизить нагрузку на него. Этот файл не предназначен для того, чтобы запрещать показ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, применяйте директивы noindex. Также вы можете создать на сайте разделы, защищенные паролем.

https://support.google.com/webmasters/answer/60626...
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
Royamov
@Royamov
seoportal.net
Конечно, зайдёт, однако следует понимать, что роботы поисковых систем постоянно сканируют файлы robots.txt и Sitemap в xml-формате, которые должны помогать им сканировать и индексировать веб-страницы. Поэтому если у вас не одностраничный сайт, то нужно создать эти файлы как можно скорее.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы