Зайдет ли поисковой робот на мой сайт, если на нем нет robots.txt?

Question

[ince]

Зайдет ли поисковой робот на мой сайт, если на нем нет robots.txt?

Answer 1

[FeNUMe]

Зайдет конечно. Но если вы не добавите сайт в базу поисковика(через консоль вебмастера) или не разместите ссылки на других индексируемых сайтах, то ждать придется вечность.

Comments

[bedolazhka]

именно так: нужно вручную скормить ПС хоть какое-то количество страниц

Answer 2

[Антон Р.]

robots.txt - это способ ОГРАНИЧЕНИЯ для роботов, а не способ разрешения.

Answer 3

[Araik]

Да

Что такое файл robots.txt?

Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно или нельзя обрабатывать. Используйте его, чтобы ограничить количество запросов, которые получает ваш сервер, и снизить нагрузку на него. Этот файл не предназначен для того, чтобы запрещать показ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, применяйте директивы noindex. Также вы можете создать на сайте разделы, защищенные паролем.

https://support.google.com/webmasters/answer/60626...

Answer 4

[Нотан Ройамов]

Конечно, зайдёт, однако следует понимать, что роботы поисковых систем постоянно сканируют файлы robots.txt и Sitemap в xml-формате, которые должны помогать им сканировать и индексировать веб-страницы. Поэтому если у вас не одностраничный сайт, то нужно создать эти файлы как можно скорее.