Задать вопрос
  • Стало заходить много ботов на сайты, какими способами заблокировать их?

    opium
    @opium
    Просто люблю качественно работать
    Можно поставить куратор или Яндекс капчу
    Ответ написан
    Комментировать
  • Стало заходить много ботов на сайты, какими способами заблокировать их?

    Mike_Ro
    @Mike_Ro Куратор тега Поисковая оптимизация
    Python, JS, WordPress, SEO, Bots, Adversting
    Вначале стоит замерить эффект от этого нашествия, есть ли вообще просадка позиций. Если нет, то можно забить. Так же может появиться излишняя нагрузка на сервер, тогда можно организовать теневой бан по ip, отдавая им особую страничку:
    - Если бот умеет выполнять js, то запустить webgl рендер 8К биг-дика, пусть любуется.
    - Если без js, то отдавать разную статику по 50мб файлик (css, js, картинки тип), обязательно рандомизировать названия файлов, чтобы кэш стонал от удовольствия.
    Сайты рассчитаны на Россию.

    Смарт капча или киллбот, поможет до средних ботов включительно. Но учтите, что настоящие пользователи не будут рады этому, соответственно нужна аналитика, что для вас страшнее, снижение сео позиций, или потеря конверсий.
    Насколько знаю, боты влияют на SEO.

    Не только лишь все.
    Посмотрел в метрике в "Посетители" > "Все посетители", там разные страны.

    Разрешите на сервере только целевые страны.
    Или какие способы посоветуете?

    На 100% - никаких, можно лишь усложнить жизнь ботоводам разными методами, например:
    - Блочить загрузку из нецелевых стран.
    - Блочить загрузку метрики на основе процента роботности по версии капчей.
    - Подтверждать конверсии только после созвона с клиентом, либо по другим железобетонным основаниям. Тогда не так страшны бото-конверсии.
    - Фильтровать бото-аудиторию для контекстной рекламы на основе данных из киллбота.

    P.S. киллбот мне ничего не платил за рекламу, прям совсем, надеюсь, исправятся ;)
    Ответ написан
    Комментировать
  • Какой будет правильный Robots.txt для Wordpress (привел пример структуры)?

    @oexce
    универсального «правильного» robots.txt для WordPress нет, всё зависит от структуры сайта и SEO-задач. в вашем примере основные правила корректны (/wp-admin/, admin-ajax.php, поиск, sitemap). однако Disallow: /? лучше убрать, так как он может блокировать полезные URL с параметрами. также нет смысла закрывать wp-content и wp-includes, поскольку поисковикам нужен доступ к CSS, JS и изображениям. правила для utm и openstat допустимы, но современные поисковые системы обычно сами корректно обрабатывают такие параметры. для большинства сайтов достаточно минимального robots.txt с закрытием админки, страниц поиска и указанием sitemap.
    Ответ написан
    Комментировать
  • Какой будет правильный Robots.txt для Wordpress (привел пример структуры)?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Коллеги уже дали хорошие ответы. Добавлю немного по логике:
    а) Надо убедиться, что поисковым роботам доступны служебные файлы, отвечающие за доступность контента: css, js, шрифты. Убедитесь, что в запрещённых для сканирования папках таких файлов нет, или внесены настройки, разрешающие доступ к этим файлам. Если этого не сделать, сайт может быть признан неадаптированным для мобильных устройств и потерять в ранжировании. Ну, бывает что и часть контента может быть недоступной из-за ошибок с доступом к JS и CSS. Проверяется это достаточно просто с помощью того же Screaming Frog SEO Spider.
    б) robots.txt - это в основном про сканирование, а не управление индексированием. Это разные процессы, хотя и пересекающиеся. Здесь просто список директив, управляющим доступом к ресурсам сайта.
    Ответ написан
    Комментировать
  • Какой будет правильный Robots.txt для Wordpress (привел пример структуры)?

    temnu
    @temnu
    SEO-специалист
    Здравствуйте. Закрывать страницы с параметрами "?" в URL (включая UTM-метки) это плохая идея, так показатели страниц с параметрами не будут подклеиваться к основным страницам.

    Хорошей идеей будет настроить rel=canonical и составить XML карту сайта с корректными версиями URL, это позволит избежать индексации страниц с параметрами и "подклеить" их к основным версиям страниц (без параметров). Если сделаете это, то robots.txt получится следующий:

    User-agent: *
    Disallow: /cgi-bin # Стандартная папка на хостинге.
    Disallow: /wp-admin/ # Закрываем админку.
    Allow: /wp-admin/admin-ajax.php # Откроем аякс.
    Disallow: *?s= # Поиск.
    Disallow: *&s= # Поиск.
    Disallow: /search # Поиск.
    Disallow: /author/ # Архив автора.
    Disallow: */embed$ # Все встраивания.
    Disallow: */xmlrpc.php # Файл WordPress API

    Sitemap: https://example.com/sitemap.xml
    Sitemap: https://example.com/sitemap.xml.gz

    Также можно сгенерировать Clean-Param (его учитывает Яндекс) и включить его в конце файла robots.txt, после директив Sitemap.
    Ответ написан
    Комментировать
  • Какой будет правильный Robots.txt для Wordpress (привел пример структуры)?

    opium
    @opium
    Просто люблю качественно работать
    Для Яндекса дублировать не нужно, User-agent: * его уже покрывает. Отдельный блок с User-agent: Yandex нужен только для Clean-param (через него удобнее выкидывать UTM из индекса, чем через Disallow).

    И главное: Sitemap: должен быть абсолютным URL с протоколом: https://example.com/sitemap.xml. Без https:// некорректно обрабатывается.

    В остальном всё ок.
    Ответ написан
    1 комментарий
  • Как лучше кластеризировать ключевики?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Сразу обозначу, что "ключевые слова" и поисковые запросы - это не одно и то же. Ключевые слова - это та лексика, с помощью которой наиболее точно описывается контент страницы и которые могут содержаться в поисковом запросе.

    Поисковые запросы по-прежнему проще всего кластеризовать по топу поисковой выдачи с расчётом на то, что результаты такой кластеризации потом придётся доводить до ума вручную (или с помощью вспомогательного инструментария). Смысл простой: по списку интересующих запросов снимается статистика из поисковой выдачи, в результатах ищутся пересечения по сайтам. Традиционно для этого я использовал KeyCollector, он годен для этой задачи и сейчас (если речь идёт о Яндекс).

    Второй подход - взять пару эталонных сайтов (максимально похожих на свой, целевой) и выгрузить структурирование из инструментов наподобие keys.so. Это даже быстрее, а результаты проще контролировать.

    Есть и более сложные и затратные по ресурсам способы:

    а) Кластеризация на базе поисковых интентов, исходя из контента. В этом случае отталкиваемся не от лексики (то есть ключевых слов) и поисковой статистики, а от семантики и поисковых намерений целевой аудитории. Условно, исходим из базового намерения ("прямые поставки асфальтного оборудования из Китая"), пробиваем разветвления запросов (подтемы, напрямую связанные с этим намерением), и уже на этой базе прорабатываем и структуру сайта (постранично и комплексно), и ключевые слова, которые должны присутствовать в каждой группе.

    б) Кластеризация на векторах. В этом случае каждый запрос прогоняется через достаточно сложный классификатор, использующий LLM, кластеризуется чем-то наподобие HDBSCAN, и выявляются максимально близкие запросы и те, что явно вылетают за пределы заданных смыслов. Этот способ не учитывает поисковую статистику и годен только как вспомогательный, для углубленных проработок - сама по себе семантика никак не связана с пользователями, и основывается только на статистике слов. С другой стороны, поисковая статистика тоже очень однобока, а при нынешних алгоритмах сильно "шумит". Отмечу, что для проработки тех подзапросов, что никогда не попадают в статистику того же "Вордстат", но должны присутствовать в кластере, замены этому способу нет.

    В общем, первый традиционный способ я бы и предложил как базовый: берем перечень запросов, снимаем по ним статистику с использованием XML, получаем группировки запросов. Доводим до ума.
    Дальше - по результатам, по задачам.
    Ответ написан
    Комментировать
  • Где покупать ссылки и как анализировать ссылочный профиль?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Просто так покупать ссылки, "чтобы было" смысла практически нет. А задачи бывают разные: поднять авторитетность хоста, привлечь аудиторию, раскачать запросный индекс, качнуть по ключу определенную страничку и т.п.

    Наиболее реальная схема - многоуровневый ссылочный профиль. Он подразумевает, что первый уровень - это хорошо собранная PBN и серьёзные авторитетные хосты, а также аутрич. Там - никакого спама, всё по-белому (кроме того, что PBN это всё же серьёзная манипуляция, за которую может и прилететь).

    Второй уровень - это биржевые ссылки. Тут выбор большой, надо внимательно смотреть на доноров. Ссылки с этого уровня - только на первый, не на целевой сайт. Хотя, конечно, можно и напрямую, если донор действительно хорош. Скажем, сайты региональных СМИ - вполне годная идея (и для первого уровня).

    Третий - "прогоны". Тут используют и самые помойные площадки, при условии, что "поливают" они купленные биржевые ссылки, а не уровни выше.

    Для начала я бы начал с хороших покупных сайтов с бирж - с хорошим весом, репутацией, ссылочным профилем, внятным ценником. На небольших объёмах, не торопясь. "Пушечного" эффекта от ссылок давно уже нет, риски тоже невелики. Главное - хоть какая-то тематическая связь и репутация донора. Сайтик, сделанный только для продажи ссылок, без аудитории, трафика, ссылающийся на всех подряд, пользы для продвижения не принесёт.
    Ответ написан
    Комментировать
  • Удалять ли отсутствующие товары в магазине?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Универсального решения, как по мне, нет. Надо учитывать несколько переменных.
    а) Трафик. Пример из жизни: каталог одним днём потерял более 2/3 трафика (было 1700 визитов в день, стало 500). Причина: две товарные карточки из большого каталога свалились с первой позиции в Гугл на 10. Оцените, дают ли эти карточки трафик. Чаще всего - нет, и если так - можно сносить смело. На практике-то сейчас там может быть вообще много добра, давно выкинутого из индекса.
    б) Конверсионная цепочка. Мёртвая карточка может быть промежуточным звеном в этой самой цепочке. Снёс "мусор" - потерял переходы на аналоги. Если там есть какое-то шевеление и в принципе не самый бесполезный контент - надо думать про редиректы или внутренние ссылки на актуальные версии или аналогичные товары.
    в) Ассортимент. BM25 никто не отменял, и если категория резко теряет объём листинга ниже критического параметра - посыплется вся категория. Тут надо точечно оценивать минимальный объём, и если чистка выглядит проблемной - проще повесить форму "Подпишитесь, чтобы узнать о поступлении" или типа такого.
    В ряде случаев стоит просто добавить сортировку (чтобы отсутствующие товары выводились где-нибудь на страницах пагинации и не портили людям впечатление.
    А если товар исчез наглухо и спроса на него нет - можно сносить смело, это уже web-decay, такое только на пользу.
    Ответ написан
    Комментировать
  • Почему из поисковой выдачи пропала только главная страница сайта?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Мало данных.

    а) Надо смотреть логи, действительно ли страница доступна для ботов Яндекса и не получает ли он софт 404 - формально код 200, но контента нет.
    б) По какому кластеру выпала? Вообще или только по какому-то коммерчески интересному? Надо смотреть, не изменился ли шаблон контента для этого кластера. Да, это самая жирная и весомая страница, но правильнее точить её под общие/брендовые запросы, а не под какое-нибудь "купить". Бывает, что в низкочастотных и малоконкурентных нишах главная ранжируется по несоответствующим запросам, но иной раз наступает момент, когда она технически прекращает соответствовать ожиданиям поисковика.

    В любом случае: стоит хотя бы по верхам уточнить такие моменты и отправить страницу на переобход. Яндекс не может без припадков в ранжировании, это может быть баг системы. У меня был в работе проект, державший топ-1 в своей нише (по главной странице), но регулярно получавший статус МПК по этой странице в консоли - при том, что траф на неё был и никаких отклонений от средней температуры по больнице.
    Ответ написан
    3 комментария
  • Как лучше поступить со страницами пагинации: сделать каждой canonical на саму себя?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Я бы с каноникалами на себя не баловался, это всё ж листинг многостраничный. Там кластер всё равно по одной целевой будет ранжироваться, а задачка - всего-то дать ссылки на весь список товаров, сами по себе страницы пагинации в индексе не нужны.
    Как уже сказал Михаил, фильтратор решает.
    Проблема-то только в том, что ценность страниц пагинации для поиска - околонулевая, и роботы их сканируют не очень охотно, а если они ещё и канонизированные по основной странице - то и вовсе шансы падают в ноль. Ну, помимо листингов есть ведь ещё внутренние ссылки - похожие товары, рекомендуемое, или те же страницы фильтратора по уму реализованные - да даже обычные статические подкатегории.
    Ответ написан
    3 комментария
  • Как лучше поступить со страницами пагинации: сделать каждой canonical на саму себя?

    Mike_Ro
    @Mike_Ro Куратор тега Поисковая оптимизация
    Python, JS, WordPress, SEO, Bots, Adversting
    Со второй страницы и далее в title добавлены "страница 2" и т.д.

    Отлично!
    Лучше поставить index, follow?

    И каноникал установить так, чтобы каждая страница была сама на себя направлена канониклом? То есть каноникал для второй страницы прописать на нее же и так далее?

    Да.
    И правда, что лучше вообще всем страницам, не являющимся дублями, указать каноникал на них самих, потому что если будет переход с фильтрами одной и той же страницы или переход по другому адресу на ту же страницу, то робот воспримет как дубль?

    Да, для мусорных фильтров (например: site.ru/iphones?utm_source=vk) ссылаемся на саму себя, а для полезных фильтров (например: site.ru/iphones?color=red (красные айфоны)) - на фильтр. Но на страницах с полезными фильтрами нужно нормально прописать заголовки и добавить текста сверху, чтобы ПС не посчитал это дублем страницы без фильтра.
    Ответ написан
    2 комментария
  • Для сайта установили переадресацию на другой домен - нужно ли в Яндекс Метрике менять счетчик или в настройках счетчика прописать текущий домен?

    Boni60
    @Boni60
    Частный SEO-специалист
    Чтобы сохранить историю, обычно новый счетчик создавать не нужно. Переносите тот же счетчик и меняйте в нем адрес сайта на новый домен. Но этого мало еще в Яндекс Вебмастере нужно оформить переезд сайта со старого домена на новый, если у вас переезд сайта.
    Ответ написан
    Комментировать
  • Для сайта установили переадресацию на другой домен - нужно ли в Яндекс Метрике менять счетчик или в настройках счетчика прописать текущий домен?

    opium
    @opium
    Просто люблю качественно работать
    Новый счётчик не нужен, история привязана к номеру счётчика, а не к домену. Поменяй адрес сайта в настройках и проверь что не включено «Принимать данные только с указанных адресов» — если включено, туда тоже впиши новый домен. Ну и код Метрики на новом домене не забудь поставить, само собой.
    Ответ написан
    Комментировать
  • Как лучше поступить если нет title, h1 или description?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Поисковые системы в состоянии самостоятельно сформировать в сниппете и тайтл, и дескрип - если контент имеет хоть какую-то ценность для поиска. В некоторых нишах в топ-10 вижу совершенно кривые сайты, где нет ни прописанных тайтлов, ни метаописаний.
    UGC в принципе редко попадает в поиск, но если вы считаете, что у этого контента есть шансы - можно интегрировать один из агентов, способных автоматически генерировать тайтлы, заголовки и мета из имеющегося контента. Для примера можно посмотреть реализацию на том же vc.ru: там комментарии могут ранжироваться отдельно.
    Ответ написан
    3 комментария
  • Как проверить sitemap.xml на несуществующие ссылки?

    @ddem
    Создаю web-сервисы
    https://sitemap-xml.ru/services/checker
    Тут есть проверка и генерация нового
    Ответ написан
    Комментировать
  • Можно ли делать редирект страницы одного сайта на другой?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Проблемы вполне вероятны. Для того, чтобы поисковые системы переклеили страничку на другой URL, они должны признать, что контент идентичен - речь идёт именно о том же материале. Процесс в любом случае небыстрый, а с учётом, что ПС оценивают не просто контент, а контент, размещённый на вполне определенном хосте - могут и не переклеить, или сильно понизить в ранжировании. Или наоборот.
    Технически проблем нет, но не снимайте редирект как минимум годик - именно такой срок озвучивали представители Гугл.
    Ответ написан
    Комментировать
  • Если купил домен а у него были куплены ссылки?

    vpetrov
    @vpetrov
    частный SEO-специалист
    Дроп без ссылок - не дроп, а мусор.
    Определять, купленная ли ссылка, сторонние сервисы не могут. Смотрите самостоятельно, откуда эти ссылки и какого они типа - и думайте, естественные они или коммерческие.
    В самих по себе коммерческих ссылках ничего плохого нет, важно - кто ссылается и куда. Если там что-то токсичное или вообще не ваша тема - можно отклонять, можно пытаться очищать (тут фокусы с редиректами и страницами-прокладками).
    И вот если совсем всё плохо и это в явном виде сказывается на ранжировании - тогда можно думать о смене домена. Пока я не вижу ни одной причины для лишних телодвижений.
    Ответ написан
    4 комментария
  • Как набрать словарный запас английского языка?

    inoise
    @inoise
    Solution Architect, AWS Certified, Serverless
    Словарный запас это то что используется на постоянной основе. Это не то что учится, а то что используется подсознательно. Так что практика и еще раз практика. И лучше - разговорная
    Ответ написан
    4 комментария
  • Как сделать сайт на WordPress с высокой производительностью?

    @Refguser
    Решения для бизнеса: корп.сайты, ИМ, боты и пр.
    Как понять, где лучше использовать плагин, а где лучше разобраться и вставить код?

    Вопрос в корне не корректный. Плагин - это тоже код. Вопрос его качества.
    А разобраться где какой код использовать (в теме или плагине) не сложно: то, что не должно пропасть при смене темы должно быть реализовано в плагине.

    На данный момент использую:

    Всё фтопку! (разве что мегаменю можно оставить если это реально нужно).
    А картинки нужно готовить заранее.

    Какие плагины обязательны?

    Не бывает таких. Зависит от задач сайта, квалификации разработчика и некоторых других условий.

    Как сделать сайт на WordPress с высокой производительностью?

    Для этого нужно много знаний и опыта.
    Начиная с понимания, что простого однозначного универсального ответа на этот вопрос быть не может в принципе.

    Ну или обратиться к специалисту, (если нужен именно сайт, а не самостоятельно покнопать)
    Ответ написан
    1 комментарий