Как заставить Гугл проиндексировать сайт?

Question

[V Melnik]

Был сайт на домене theprayerbook.info, потом сайт закрывался. На сегодня сайт, после смены домена, доступен по адресу praybook.info. В обоих случаях сайт работал на одной и той же CMS.
После перехода на новый домен, адрес был добавлен в Гугл Консоль и в прочие инструменты Гугла. Но, Гугл не хочет индексировать, также не хочет принимать карту сайта sitemap.xml.
Да, сайт содержит 4 274 публикаций с которых в Гугле доступна Главная и возможно еще 2-3 страницы.
Как заставить Google проиндексировать сайт?

Comments

[Константин Цветков]

Какой статус Sitemap?

[V Melnik]

[V Melnik]

Основной Sitemap добавлял несколько раз.

[V Melnik]

То есть, адрес Гугл проиндексировал, а карту сайта не видит...

[V Melnik]

Может кто знает секретные адреса (мейл/ссылка) поддержки Гугла, той которая отвечает за индексацию?
Если большой секрет то скиньте в почту, между первым и вторым символом моего ника собака, в конце .im :)

[Михаил Лялин]

что-то ваш https://praybook.info/sitemap.xml слишком мал по содержанию для 4 274 публикаций

[Михаил Лялин]

например, https://123lab.ru/sitemap.xml

[V Melnik]

Потому что, sitemap.xml praybook.info состоит из четырех файлов .xml

[V Melnik]

Михаил Лялин,
Вот карта на подобии вашего примера news_pages.xml

Answer 1

[Константин Цветков]

Если вы использовали инструмент "Изменение адреса", то ждать.
Sitemap:
https://praybook.info/sitemap.xml -> https://praybook.info/uploads/static_pages.xml работает;
https://praybook.info/uploads/static_pages.xml -> https://praybook.info/pro_sait.html не работает, так как первое ниже второго.

Перенесите https://praybook.info/uploads/static_pages.xml как https://praybook.info/static_pages.xml и отдайте их все google без всяких промежуточных sitemap.

Comments

[V Melnik]

Домен добавлен как новый, не изменение адреса.

https://praybook.info/uploads/static_pages.xml -> https://praybook.info/pro_sait.html не работает

Что не работает? Адрес открывается.

[Константин Цветков]

V Melnik, Как создать файл Sitemap: Файл Sitemap может быть размещен в любой части сайта, но влияет только на каталоги уровнем ниже родительского.

[V Melnik]

Константин Цветков,
Пробовал генерировать sitemap сторонними сервисами...результат тот же что и при генерации CMSкой
Так же пробовал упаковывать карту в архив и архив скармливать через xml фал, основной, тот в котором архив читает, сам архив, а точнее архивированную карту не читает.

[Константин Цветков]

V Melnik, Хотите использовать Google, делайте sitemap по его правилам. Хоть просто Текст.

[V Melnik]

Константин Цветков,
Так делал же, прям сегодня.
+
CMS на которой работает сайт не только у меня стоит, и у всех индексация работает.

[Константин Цветков]

V Melnik, Может у тех, где работает, не делают sitemap ниже описанных в нём страниц.
Да перенесите уже https://praybook.info/uploads/static_pages.xml как https://praybook.info/static_pages.xml и отдайте их все google без всяких промежуточных sitemap.

[V Melnik]

Константин Цветков,
Отдельно static_pages.xml и news_pages.xml тоже не принимаются...

[Константин Цветков]

V Melnik, А простым текстом: https://praybook.info/static_pages.txt

https://praybook.info/pro_sait.html
https://praybook.info/donation.html
https://praybook.info/knopka.html
https://praybook.info/website-banners.html
https://praybook.info/all_praybook.html

[V Melnik]

Спасибо, попробую через txt файл скормить Гуглу карту.
Как попробую обязательно отпишусь.

[V Melnik]

Пробовал руками создать и отправить файлы со всеми ссылками на сайт, сначала txt - "неизвестный файл", "не получено", потом xml - та же ситуация.
Может у меня неправильный (с ошибками) фал получается? Вот здесь XML и TXT Может кто-то глянуть?

[Константин Цветков]

V Melnik, В файле all.txt должны быть только html.
all.txt положите в корень сайта https://praybook.info/all.txt (у вас 404).
У меня были проблемы с размером, но не повторяемые, оставьте ~100 строк, потом можно будет добавить остальные.
У меня больше 5~7 раз в сутки не принимал, даже тот же файл.

[Константин Цветков]

V Melnik, Есть файл https://praybook.info/all.txt, но в нём по-прежнему есть "папки", а должны быть только html

[V Melnik]

Константин Цветков,
Как папки? У меня показывает список ссылок.
Можете сюда положить скрин того, что у вас показывает?

[Константин Цветков]

V Melnik, https://praybook.info/all.txt
Вот этого быть не должно:

https://praybook.info/
https://praybook.info/bible/
https://praybook.info/bible/old_testament/
https://praybook.info/prayers/
https://praybook.info/prayers/pered_ikonami/

Ещё есть несколько.
Остаётся только

https://praybook.info/4976-vladimirskaja-ikona-bozhiej-materi.html
https://praybook.info/4943-akafist-pred-ikonoj-bogorodicy-vsecarica.html
https://praybook.info/4897-bogorodichnoe-pravilo.html

и так далее.

[V Melnik]

Константин Цветков,
Ок, спасибо, попробую удалить ссылки на разделы.
Как попробую обязательно отпишусь.

Answer 2

[ZERGeich]

Ну, как бы - гугл про вас знает.


А дальше - заходите\регистрируетесь в сёрч консоль - и там уже смотрите есть какие-то проблемы, или нет.

Comments

[V Melnik]

То, что он знает это хорошо. Но вот проиндексировал главную и все. А так на сайте 4 274 публикаций.

[V Melnik]

И в Поисковую консоль домен добавлен.

Answer 3

[Виктор Петров]

У вас сайт под фильтром за пиратство. Гугл не будет его индексировать, пока не решена эта проблема.
Снимайте фильтр.

Comments

[V Melnik]

Ого
А откуда такая инфораци?
Как решить эту проблему? Куда писать/что исправить?

[V Melnik]

И опять таки сайт религиозный, содержит молитвы, акафисты, высказывание старцев. Всему этому не один десяток лет. Какой может быть уникальный контент в молитвах? Самому писать?
Я так понимаю что без прямого общения с "фильтроводами", уполномоченными решать подобные вопросы толку не будет.
Соответственно вопрос. Как достучаться до тех, кто может принимать решения по отмене фильтра?

[Виктор Петров]

У вас старый домен блокнут за пиратство. Не знаю, настраивали ли вы переезд, или Гугл сам определил, что речь о заблокированном сайте, но факт - я бы именно этот вопрос подробнейше разобрал в первую очередь.
Подробности - ну, по запросу в поиске "фильтр гугл пират", тема старая.

[V Melnik]

Виктор Петров,
Только что перелопатил сайты с описание пиратского фильтра Гугл (Пингвин). Там общая информация на тему написания уникального контента. Но какой уникальный контент учитывая тематику сайта?

Как достучаться в поддержку Гугла которая отвечает за индексацию?

[Виктор Петров]

V Melnik, речь не про уникальность контента, а про DMCA. Вы лучше скажите, на что такую жалобу могли кинуть - на какой контент? И что случилось со старым доменом? Я в принципе в первый раз увидел такой ответ сервера вживую. Кроме того, непонятно, как вообще настроен переезд на новый домен, если он был настроен.
Техподдержка Гугла не отвечает за индексацию, это алгоритмическое. Что-то ответить вам могут только по поводу "ручника" ("Меры, принятые вручную"). С учётом происходящего в мире ждать ответа от техподдержки можно долго, и не факт, что сподобятся ответить.

[V Melnik]

Да кинуть жалобу могли на что угодно. На изображение иноны, к примеру. Кто-то решил, что икона его творение.
Мне интересно как рассматривать такие жалобы? Не бот же рассматривает жалобы на авторские права. А если бот, то 2/3 сайтов могли попасть под фильтр.
И почему, если Гугл посчитал что на сайте нарушение авторских прав, не было никакого уведомления?
Опять таки, жалобы наверное смотрят живые люди? Это логично. Соответственно если живые вносят в фильт, значит они могут и удалить из под фильтра, или хотя бы сказать/написать на какую публикацию поступила жалоба. И тогда уже можно что-то делать, ставить ссылку на автора или просто удалить с сайта.
Старый домен был просто не продлен и занят другими лицами. Что они делали со старым доменом, известно только им и наверное Гуглу.
Переезда не было. Был старый домен и сайт на нем, а потом спустя год-полтора, новый с тем же содержимым.

[Виктор Петров]

V Melnik, тогда всё ещё интереснее, если речь не о полноценном переезде, а старый домен уже имел другого владельца. Посмотрел новый домен. Ему
а) всего месяц после второй регистрации. Для Гугла это слишком мало, чтобы вообще что-то индексировать всерьёз.
б) Вы - не первый владелец. Что там было раньше? Вы историю проверяли? Домен может быть зафильтрован (хотя думаю, вы пока просто торопитесь с ожиданием результатов).
Попробуйте настроить Google Indexing API и запулить сайт через него. Ну, и трафик на сайт надо дать, или хотя бы ссылочным обеспечить.

[V Melnik]

Виктор Петров,
Да, с момента регистрации чуть больше месяца. Но Яндекс уже проиндексировал, а вот Гугл - не хочет.
Первая регистрация, судя с информации от web.archive.org, была в июне 2013 года, регистрировали домен для перепродажи.
Да, кстати о web.archive.org. Там тоже одна запись, с момента моей регистрации домена/создания сайта...
Обязательно буду пробовать Google Indexing API, о результатах отпишусь.
А где ж их взять, ссылочки эти? Через Сапу, на сколько я знаю, это пустая трата денег и времени, Сапа сама не в почтете у поисков. Регистрироваться в каталогах в ручную, вариант, но ооочень долгий. Прогонять через Хрумер и прочее, во-первых опасно (можно в спам залететь), во-вторых есть технические трудности.

[Виктор Петров]

V Melnik, Гугл в принципе очень неторопливый, и экономит ресурсы на сканирование веб и расчёты основных метрик. Чтобы он что-то делал, тем более - не жалея ресурсов, ему нужны дополнительные сигналы о ценности того или иного ресурса.
Ссылки и пользовательские сигналы - как раз то, что нужно.
С "Сапой" порядок, арендные ссылки вполне себе могут сработать - просто не надо брать совсем завалящие домены для аренды ссылок, нужны такие, где Гугл эти ссылки в принципе вовремя увидит и учтёт. Арендовать их надолго тоже смысла нет - ну, квартала, по идее, должно быть достаточно. Ссылки из соцсетей, куда гуглобот заходит, тоже годятся.
Хрумер и его аналоги - почему нет? Тут всё решают базы. Меньше мусора в списке доноров - выше шансы.
Факт, что молодой хост без истории и определенной тематики, без набранных пользовательских метрик может болтаться в "песочнице" с годик, и траф получать - только по мНЧ и НЧ. Обе ПС перешли в режим жёсткой экономии ресурсов, и их ещё надо убедить, что сайт кому-то нужен и важен.
Я бы сказал, что проблема в таком виде выглядит куда меньшей, чем реальны фильтры и санкции за что-то. Надо просто подождать и вложить немного ресурсов в хост.

[V Melnik]

Виктор Петров,
Тогда уйду маленько в сторону от темы вопроса. Есть проблема доступа к .ru сайтам. Хрумер и т.д. на прямую соединяются с каталогами, в моем случае пытаются соединится... Сам вопрос. Как пустить весь трафик с windows через VPN? То есть, чтобы тот же хрумер шёл через VPN?