Роми, все метрики, имеющие отношение к хосту - то есть сайту в целом. Возраст домена, ссылочное, тематика, качество домена, регион, характер и объём трафика, история, запросный индекс за период и т.п. То есть всё, что ПС знает о сайте в целом.
Нюанс: для Яндекса ещё имеет значение информация о компании, это тоже часть хостовых. И берет он эту информацию не только и не столько с сайта, сколько с собственных сервисов, так что если речь о коммерческом сайте - надо ковырять учётку в Яндекс-Бизнес, это обязательное условие.
В Гугл это тоже играет роль, но в основном для каких-то локальных бизнесов (салоны красоты, кафе и прочее, что ищут через карты и с запросами типа "рядом со мной").
Роми, зависит от ПС. Гугл смотрит на текстовую релевантность и хостовые. Яндекс сначала оценивает текстовые, потом (если всё ок) - пересчитывает по пачке других метрик, где преобладают поведенческие, хостовые и коммерческие. Притом хостовые он оценивает не так, как Гугл, там уже на возрасте домена и ссылочном не выедешь. Ключик, вероятно, закопан в куче под названием ИКС - в первую очередь, насколько популярен сайт у ползателей, много ли трафика и т.п.
20strannik08, нет, от robots.txt отказываться точно не стоит. Тем более, что есть же ещё Гугл. Просто для Яндекса сканирование нужно по необходимости открывать, а от Гугла - закрывать.
Ну, и важно понимать: robots.txt - это про управление сканированием сайта, а не его индексированием.
20strannik08, я бы вот не стал париться гипотетическим общим весом. "Качели" будут в любом случае - это же Яндекс, у него алго припадочные, потому что всё на апдейтах по разным метрикам. Сегодня оценил текстовые - качнуло вверх, завтра - поведенческие - в апдейт скинуло, потом пересчитал JS - и опять мотнуло куда-то.
x-robots-tag - это про серверный ответ, обычно для файлов используется. У вас же метатеги?
Я вообще к тому клоню, что нужно выбрать какую-то одну модель директив. То, что вы в robots.txt пишете - это про сканирование, вернее, даже про скачивание. Я бы не стал индексацией с помощью robots.txt управляться. Для старта мета "robots" достаточно с запретом на индексирование.
Cheizer, ну, я бы для затравки попробовал именно живой трафик с букс. Качество там чуть получше, и точка входа - пониже. Для бототрафика в тысячу визитов в день уже нужен какой-никакой, а сервер, плюс постоянное создание профилей ботов в объёмах накрутки (один профиль - один визит), а это минимум 10 URL на профиль плюс время на "отлёжку". Понадобятся больше времени и большие бюджеты, если организовывать бототрафик самостоятельно - а там же ещё плата за платформу и прокси.
szQocks, да, это вариант, но не единственный. Есть ещё динамический рендеринг - боту отдаём рендер, человечек перебьётся CSR. Да и тот же SSR можно реализовать очень по разному. К примеру, как рендерить - по запросу или заранее? Везде свои минуса и преимущества, и очень многое зависит от проекта и реализации.
IvanovIvanIvanych, $ на конце урла обозначает его конец. Всё, что идёт после - доступно для сканирования.
В любом случае, после любых правок - велкам https://www.google.com/webmasters/tools/robots-tes... и в аналогичный инструмент Яндекс-Вебмастера, если есть баги и ошибки - сразу будет понятно.
Мы же запрещаем категорию, а подкатегории не трогаем?
Команда Allow вообще обрабатывается не очень корректно, и лично я бы рекомендовал использовать её только для разрешения на сканирование специфических типов файлов (css, js, картинки).
Небольшой мануал по настройкам robots.txt, я там вкратце подытожил несколько мифов и устаревших практик, может быть, будет полезно.
Юрий, идеи про вред статейного раздела имеют под собой некоторую реальную почву в Гугл. Пара примеров:
1. Сайт услуг с большим и мощным информационным разделом. Коммерческий плохо сканируется. Анализ логов показывает, что гуглобот в основном пасётся в статейном разделе, привлекающем больше людей. Соответственно, ПС получает много сигналов о важности раздела и все ресурсы по обходу сайта тратит на статейник.
2. Студия озвучки. Огромное количество трафа - на информационный раздел "Кто озвучивает?" - люди идут узнать, кто озвучил, скажем, Железного Человека. Это не клиенты, и они не пойдут по внутренним ссылкам. И количество такого контента на сайте многократно превышает коммерческие странички. В результате сайт ранжируется практически исключительно как информационник.
В общем, если не переборщить с объёмами и не ошибиться с интентом аудитории - будет хорошо.
Roma_Tornado, вариант только один: добавить соответствующие поля в шаблон и заполнить. Любой разработчик на WP должен справиться.
Хотя, как я уже сказал, реально это ни на что не влияет - просто несоответствие хотелкам робота. Хотя некоторые поля могут быть полезны (рейтинг товара, отзывы на него и т.п.).
Нюанс: для Яндекса ещё имеет значение информация о компании, это тоже часть хостовых. И берет он эту информацию не только и не столько с сайта, сколько с собственных сервисов, так что если речь о коммерческом сайте - надо ковырять учётку в Яндекс-Бизнес, это обязательное условие.
В Гугл это тоже играет роль, но в основном для каких-то локальных бизнесов (салоны красоты, кафе и прочее, что ищут через карты и с запросами типа "рядом со мной").