Страница обходится роботом, но отсутствует в поиске — как добавить сайт в поиск Яндекса?

Question

[Олег Курочкин]

Сверстал сайт керчь-вода.рф, разместил на хостинге, добавил в поисковики.
Но в вебмастере яндекса пишет - Страница обходится роботом, но отсутствует в поиске.
Как добавить сайт в поиск? Что-то нужно изменить на сайте?

Comments

[alex-1917]

и сколько времени прошло? небось полдня?)))
погуглите для начала, общеизвестно, что яндекс давно уже не торт и даже не засохшее пирожное

Answer 1

[Aleksandr Yurchenko]

Эх, вспомню, когда работал км/маркетологом :).

Перво-наперво рекомендую создать два файла:

1. robots.txt
   
2. sitemap.xml
   

Первого у вас нет от слова совсем, второй составлен криво, в нем присутствует одна http://www.керчь-вода.рф/tel:[phone] с 404 ответом.

Рекомендации яндекс по:

• robots.txt
  
• sitemap.xml
  

Без них сайт, конечно тоже проиндексируется но значительно дольше будет это делать. Вдобавок в индекс может попасть "мусор" (который в последствии даст в вебмастере предупреждение "страница с малополезным контентом", я один раз забыл закрыть несколько директорий и схлопотал фильтр - выходил из под него 2-3 недели).

Проверить, что сейчас находиться в индексе можно набрав в поисковой системe site:{название сайта}:

site:www.xn----8sbfic3a5an7d7b.xn--p1ai host:www.xn----8sbfic3a5an7d7b.xn--p1ai

P.S. что бы ещё ускорить индексацию, в яндекс.вебастер (в гугл консоле не помню есть такой раздел или нет):
1. После создания карты сайта - добавьте её в разделе: "Индексирование-Файлы sitemap" ссылку на карту
2. После создания robots.txt проверьте его: "Инструменты-Анализ robots.txt"
3. В разделе "индексирование" - "мониторинг важных страниц" добавьте те страницы, которые нужно увидеть в поиске.

Это самый базис, который надо делать сразу после снятия запрета на индексирование. Дальше уже можно смотреть в сторону турбо-страниц и amp, создание микроразметки (op, schema).

Comments

[Олег Курочкин]

robots не делал т.к. он нужен для закрытия страниц от интексации, насколько я понимаю.
sitemap нареканий со стороны яндекса.вебмастер не вызывает (добавил уже). Что посоветуете дописать?

[Aleksandr Yurchenko]

olakakur,

robots не делал т.к. он нужен для закрытия страниц от интексации, насколько я понимаю.

Неправильно понимаете. Не буду копировать определение из гугла, если простыми словами: "этот файл нужен для того, чтобы объяснить поисковым роботам что можно индексировать, а что индексировать нельзя. Сам же файл файл состоит не только из одной директивы disallow, там есть и другие :)

sitemap нареканий со стороны яндекса.вебмастер не вызывает (добавил уже). Что посоветуете дописать?

Правильно, чисто с технической стороны, ссылка добавленная в карту сайта - соответствует (у неё есть протокол, у неё есть домен и т.д.). Только она битая, если перейти по ней вывалиться 404 (которая кстати у вас тоже не настроена и подтягивается с хостинга, где расположен ваш сайт (джино).
Просто наберите после названия своего сайта /sitemap.xml (https://www.xn----8sbfic3a5an7d7b.xn--p1ai/sitemap.xml) и сами все поймете.

Совет один, ознакомиться с рекомендациями составить правильно два файла. После этого проверить робот.тхт на ошибки, а сформированную карту сайта добавить в соответствующий раздел.

P.S. если не хотите ковыряться с картой сайта, есть сервисы, которые её генерируют её (например: https://htmlweb.ru/analiz/sitemap.php), но так как у вас сайт на одну страницу (других я не нашел :) ) Советую сделать вручную, что бы понимать, что за колдовство происходит в этом файл и так как у вас сайт самописный, при обновление содержимого желательно будет менять даты в этой карте.

[Aleksandr Yurchenko]

В вашем случае карта сайта будет примерно такой (если нет других страниц)

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.xn----8sbfic3a5an7d7b.xn--p1ai/</loc>
<lastmod>2019-09-17</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>

Но все же советую разобраться, что означают данные строчки

[Олег Курочкин]

спасибо, приятно с вами общаться!

[Aleksandr Yurchenko]

olakakur, пожалуйста :)

[Олег Курочкин]

яндекс и директ и гугл адвордс имеет смысл уже подключить ?

[Aleksandr Yurchenko]

olakakur, директ и ads это ни системы аналитики :). Это контекстная реклама и её не подключают на сайт. Просто создается личный кабинет, в нем указывается сайт, добавляется метрика и аналитика и запускается реклама.

[Олег Курочкин]

Aleksandr Yurchenko, я понимаю. Я про то, что запускать рекламу имеет смысл до того, как сайт отобразится во всех поисковиках?

[Aleksandr Yurchenko]

ошибки на сайте никак не повлияют на рекламу, главное что бы ссылки, которые будут указаны в объявление были доступны (хотя насколько я помню рекламу можно крутить вообще не имея сайта, можно создать визитку).

А если в целом, с вас будут откручивать бабло, вы будете сидеть в одной из пяти первых ссылок(в зависимости, какую ставку поставите). А уж насколько корректно составлен robots,sitemap есть ли на сайте микроразметка - директу или ads совершенно фиолетово, им главное что бы бюджет был :)

[Олег Курочкин]

клики по рекламе на сайт увидят роботы поисковиков, что позволит создать картину активности сайта и проявления интереса к нему со стороны посетителей

[Aleksandr Yurchenko]

olakakur, клики по рекламе максимум, что вам дадут - отчет в метрики и статистику в директе, а то что вы написали - прочитал несколько раз...непонял

[Олег Курочкин]

просто у меня цель научиться делать показ сайтов в поисках как на примере - чтобы они расширенно и корректно отображались в поиске. Это круто)

[Aleksandr Yurchenko]

olakakur, ну во первых это никак не относиться ни к директу, ни к метрики. Это расширенный сниппет, который формируется самим яндексом и на его формирование вы можете повлиять крайне посредственно.

Почитайте здесь: https://yandex.ru/support/webmaster/search-results...

Вам бы хотя бы быстрые ссылки получить, хотя я думаю это будет проблематично, имея всего одну страницу

[Олег Курочкин]

роботы как оценивают сайт - по интересу со стороны пользователей, полезности контента. Если информация, которая на сайте состоит из одних ключевых слов и текст не является уникальным. То роботы наложат фильтр на сайт - заспамленность или другой.
а переходы по выдаче в рекламе, ссылки на тематических форумах и соц.сетях позволят лучше продвинуть молодой сайт

[alex-1917]

Олег Курочкин, все ваши изречения очевидно из какого-то видеогайда. совет от вамотдядьки Алекса - почитатйте талмудыот самого яндекса, какойбы тухлый не быляндекс, новотпро роботсони написали максимально разжеванно.
серьезно, от некоторых ваших изречений про роботс и прочее кровь из глаз, хотя я и не СЕО-шник

[Aleksandr Yurchenko]

Олег Курочкин, тут уже за меня ответил alex-1917 :)
И могу дать один совет, если вы смотрите видеогайды или что-то читаете, запомните - если там "гладко стелят" из разряда 7 шагов 5 правил и на вас весь интернет молиться будет - относитесь к этому очень критично.
Всегда параллельно (если таковая возможность имеется)читайте офф.документацию. Это будет определенно скучней, но будет возможность сравнить.

Answer 2

[Ivan Ivanovich]

На данный момент страница в поиске есть. https://yandex.ru/search/?text=site%3A%D0%BA%D0%B5...

Comments

[alex-1917]

да зачем это? ТС видеогайды усердно штудирует...