Как правильно скрыть сайт от ПС во время наполнения?

Question

[prowerty]

Пождскажите, пожалуйста: как правильно скрыть сайт от ПС во время наполнения?

Блог на WP, но не хочется, чтобы поисковики индексировали его во время наполнения, ибо будет куча измений (я уверен). Да и вообще от роботов спрятать на это время. Как лучше это осуществить?

Если я включу плагин WP Maintenance Mode, в нём включу настройки:
Разрешить поисковым роботам индексацию сайта во время технического обслуживания? - Нет
Мета-тег для роботов - noindex/nofollow

то после запуска блога - будут ли роботы заходить на сайт? Я так понимаю, что выдаётся ошибка 503 для робота, при попытке обхода. Но не опасно ли это в дальнейшем? Не повредит ли долгое наличие этого кода (2-4 месяца) для индексации в будущем?

Просветите новичка, пожалуйста.

Answer 1

[Игорь Воротнёв]

- В robots.txt запрещаем индексацию
- Добавляем в шапку noindex
- Отключаем карту сайта
- Закрываем доступ для неавторизованных посетителей, чтобы только админы и редактора могли ходить по сайту, для всех остальных одна страница-заглушка "coming soon"
- Когда сайт готов к публикации - открываем карту сайта, разрешаем индексирование, подключаемся к Google / Yandex Webmaster Tools, сабмиттим сайт в очередь на индексацию.

Answer 2

[Markus Saar]

Закройте сайт паролем https://www.it-rem.ru/wordpress-zakryit-sayt-parol... а когда захотите его отдать на индексацию поисковикам:

1. уберите пароль;
   
2. добавьте счетчик Яндекс.Метрики: https://metrika.yandex.ru/
   
3. добавьте сайт в Яндекс.Вебмастер: https://webmaster.yandex.ru/
   
4. добавьте счетчик Google Analytics: https://analytics.google.com/
   
5. добавьте сайт в панель Google Webmaster: https://www.google.ru/intl/ru/webmasters/
   

Этого будет достаточно, чтобы поисковики узнали о существовании вашего сайта. Заодно вы будете знать, когда они начнут индексацию, и нет ли проблем с этим.

Answer 3

[Антон Неверов]

1) Разрабатывайте на отдельном домене.
2) Индексируйте всё и сразу. Не думайте, что роботы моментально на 100% проиндексируют ваш сайт в первый же день публикации. Новые сайты нафиг никому не нужны и роботы их индексируют с именно такой скоростью и отношением.

Comments

[prowerty]

1. А как тогда быть с сылками? Я в статье вставляю ссылки по типу "подробнее я писал здесь". Потом придётся здорово повозиться с их сортировкой.
2. Я понимаю, но я хочу допустить к индексации именно готовый сайт, а не голый шаблон с тремя сотнями недоделанных страниц, которые индексируются и тут же исключаются из поиска с пометкой "Недостаточно качественная страница".

[Игорь Воротнёв]

prowerty,
1. Search-replace в БД
2. См. мой ответ

Answer 4

[xmoonlight]

Возвращать на любой запрос 404, если это не ваш IP/подсетка.

Answer 5

[Dim Boy]

я пользуюсь htpasswd

Answer 6

[Сергей Кутузов]

Поддерживаю Неверова. Закрывать сайт от ПС на время наполнения - это же, мягко выражаясь, неконструктивно, если конечно не предполагается менять адреса страниц, или имеет место быть #ясамыйхитрый. Наполняйте спокойно, изменяйте контент как хотите, ПС поймут то, что надо - сайт живёт и активно совершенствуется. Будут только плюсы.
Можете закрыть для посетителей, хотя тоже не обязательно. Ну сколько у вас возьмут в закладки? Очень хорошо если процентов 15-20, но и это ещё надо заслужить.
Если сайт на WP, то вот инструкция, как его грамотно закрыть на время для посетителей https://starper55plys.ru/bez-rubriki/kak-zakryit-sayt/