Почему не индексируется сайт?

Question

[Trav9noi]

Всем привет! Подскажите, пожалуйста, по какой причине сайт может не индексирыватся?
Google Search пишет, что страницы «Исключены» и мол страницы были исключены скорей всего по моей воли, в Yandex Webmaster тоже не индексирует.
Проиндексировано только в GoogleSearch примерно 40 результатов, Яндекс — 102 результата.
Возможно стоит просто подождать или как?

Сайт на wordpress + woocomeerce.
Возможно что то нет так с robots.txt?
Так же имеется плагин Yoast SEO
По пути Настройки — Чтение, индексация включена
Если с robots.txt что то не так, то подскажите, пожалуйста, актуальный robots.txt для интернет магазина
Ссылка на сам сайт: https://nellys-charm.com.ua/
Вот сам robots.txt

User-agent: *
Disallow: /stranica-magazina/
Disallow: /uk/storinka-magazinu/
Disallow: /he/shop/
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*

Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

Sitemap: https://nellys-charm.com.ua/sitemap_index.xml

Answer 1

[Сергей Арсентьев]

Не в robots скорее всего дело.
Но исключите этот момент - зайдите в яндекс вебмастер, там есть Инструменты - "Анализ robots.txt" и внизу Разрешены ли URL - скиньте туда несколько страниц и посмотрите как они пройдут проверку.

Если сайт добавляли недавно, то имейте ввиду, что google индексирует по моим подсчетам все страницы до 2 недель, яндекс до месяца.

Сделайте html карту, если ее еще нет, и в меню выставьте на несколько дней, чтобы робот прошел всё.

Посмотрите причины по которым google / яндекс не индексируют страницу, бывает что мало контента, дубль или еще что-то.

Включите обход по счетчикам в яндексе.
Ну и я бы выкинул yoast и поставил бы rank math

Плюс можно написать в техподдержку яндекса, они хоть отвечают более-менее нормально, в отличии от гугла.

Comments

[Trav9noi]

Спасибо за ответ! Яндекс пишет, что всего 4 и 2 процента дубликатов, но при этом я обнаружил такую информацию от Google




А так же скрин с яндекс

При этом при проверке URL на блокировку в robots.txt ничего нет, всё так и должно быть?

Обход по счетчикам в яндексе есть, в яндексе индексирует по живее, но яндекс сначало добавляет одну и ту же ссылку, а потом удаляет, хотя ничего я с ней не делал, это тоже так и должно быть?

Сайт был добавлен дней 6 назад, в google всего проиндексировано 23 страницы из 2.3. тысяч
В яндексе 136 страницы.

Стоит всё так ещё подождать немного, верно?

[Сергей Арсентьев]

6 дней это для сео очень мало )
недели и месяцы - это норм
по скринам - первые скрины где robots.txt это не то совсем, тут ничего нет страшного, просто он говорит, что часть ресурсов не смог загрузить (это дурацкая директива в роботс /wp и с /? - я бы их убрал, нет смысла запрещать индексировать папку с шаблоном и такие вот штуки как на скрине).

на последних скринах гугл говорит - мол, я видел ваши страницы, но еще не добрался до них, проиндексирую потом как-нибудь.

то есть ждать
чтобы ускорить процесс, как и говорил - html карту сайта в подвал или меню, можно несколько ссылок с твиттера на страницы, которые быстрее всего нужны, и побольше уникального контента.

[Trav9noi]

Хорошо, спасибо большое!

Answer 2

[NePastor]

Попробуйте Google Indexing API.
Есть инструкция в сети.
Через него можно добавлять до 200 страниц в день, полностью бесплатно.
У меня также с сайтом было, попробовал этот инструмент и помогло, но не всегда работает.
С небольшими сайтами думаю сработает (у меня от 4-5 тысяч страниц на каждом, поэтому плохо работает).
У меня страницы залетели в индекс через сутки примерно после использования.