Как версии сайтов для разработки попадают в поисковики?

Question

[Хуршед Абдужалил]

Уже не раз наблюдаю как наши тестовые сайты попадают в поисковики, хотя ссылок мы нигде не указывали... и в robots.txt disalow / стоит, может подскажет кто нибудь идеи какие нибудь?

Comments

[Сергей delphinpro]

User-agent: *
Disallow: /

И ничего не попадает в поисковики.

[Хуршед Абдужалил]

Сергей: попадает, еще как. Всегда первым делом так делаю

Answer 1

[dinegnet]

Значит не стоит disallow.

Comments

[Хуршед Абдужалил]

стоит

[dinegnet]

Хуршед Абдужалил: значит неправильно стоит.
все приличные поисковики - учитывают роботс.тхт

[Хуршед Абдужалил]

dinegnet: User-agent: *
Disallow: /
Disallow: /admin/

что тут неправильно?

[dinegnet]

Хуршед Абдужалил: например, не отдается сам файл по каноническому url

Answer 2

[Евгений]

Через различные плагины и тулбары поисковых систем. Думаю, что Google Chrome, например, напрямую может сообщать Google о существовании сайта.

Answer 3

[Site Developer]

Браузеры и всякие счётчики-виджеты и пр модули на сайте сливают же. Они же собирают инфу откуда запросы идут.
Делай сайт на несуществующем домене (hosts в помощь) или доступ по паролю.
Все указания в роботсах - фигов листик. Это рекомендация. Боты вся равно лазят и могут занести в индекс.

Comments

[Хуршед Абдужалил]

хм... печально если это действительно так, придется запаролить все

[Хуршед Абдужалил]

еще насчет несуществующего домена если сайт с н-поддоменами каждый этот сайт вносить не очень удобно)

[Site Developer]

Хуршед Абдужалил: у меня в хостсе только на сегодня с полсотни сайтов :) На 10ке разных IP-шников (разные хостинги). А так их состав постоянно меняется.
Но недостаток такого способа - проблема показать другим. Тогда уже приходится прибегать ко второму способу - авторизации.

Answer 4

[Андрей Куртучкин]

роботс - это рекомендация. можно использовать ноиндекс -
https://yandex.ru/support/webmaster/controlling-ro...
https://support.google.com/webmasters/answer/93710...
но надежней всего вход по паролю или локалхост

Answer 5

[Neocaridina]

.htaccess:

SetEnvIfNoCase User-Agent "Google" bad_bot
SetEnvIfNoCase User-Agent "Yandex" bad_bot
SetEnvIfNoCase User-Agent "Yahoo" bad_bot
SetEnvIfNoCase User-Agent "bing" bad_bot
SetEnvIfNoCase User-Agent "Mail" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

SetEnvIf Remote_Addr "123.456.78.90" myip
Order Deny,Allow
Deny from all
Allow from env=myip

По хорошему к ним не доходит.