Как индексировать динамических сайтов?

Question

[ErickSkrauch]

Всем привет.

Я являюсь разработчиком проекта ely.by. Прошу не пугаться темы Minecraft, для меня этот проект - это место, где я выжимаю из своих знаний всё, что умею (своеобразное портфолио в видео рабочего сервиса, но не об этом речь).

Не так давно я запустил каталог скинов (ely.by/skins), сделал динамическую генерацию sitemap.xml, реализовал вывод контента на странице скина не через динамику, а на стороне сервера, но поисковики упорно отказываются индексировать главную и большую часть страниц сайта. То же самое касается и отдельных динамических и тегированных результатов фильтрации. Оно то и понятно - страницы каталога для поисковика - просто небольшая кучка html, без содержимого, но мне то нужны поисковики.

Идея такова: на основании заголовков запроса, проверять кто зашёл на сайт и если это поисковая машина, то отдавать отдельный упрощённый макет с просто структурированными данными для лёгкой индексации поисковыми машинами.

Вопрос: не обидятся ли поисковики на такую дерзость с моей стороны?

Comments

[Михаил Калинин]

Всё в индексе, а сохраненка главной от 04 декабря (Яндекс)

Answer 1

[Александр Аксентьев]

У яндекса и гугла проблем с JS нет. Индексируется всё, тем более чтобы ссылки на страницы имеются самые обычные, а не через хеш.

Comments

[ErickSkrauch]

Если бы они индексировали их "как положено", то я бы не писал сюда :(

[Александр Аксентьев]

ErickSkrauch: может быть проблема в том что индексация работает черти как в принципе или очень долго обновляется. На сайтах наших клиентов в индекс гугла попала фраза которая выводится с помощью JS загружаемого с нашего сайта(мы типа яндекс.метрики код даем). И выводится не постоянно, а при наличии определенной активности от пользователя на сайте.

[ErickSkrauch]

Александр Аксентьев, возможно. https://www.google.by/webhp?sourceid=chrome-instan... таки показывает записи на моей стене, но они очень запоздавшие. sitemap же не поможет мне?

[Александр Аксентьев]

ErickSkrauch: от вас уже ничего не зависит. Яндекс индексирует до 2 недель, гугл обычно быстро, но не моментально конечно же. Ну и опять же зависит от сайта, посещаемость и все такое

[ErickSkrauch]

Александр Аксентьев, ок, с этим ясно, спасибо, но всё же вопрос в том, обидятся ли поисковики, если я для них буду подсовывать другое видение контента?

[Александр Аксентьев]

ErickSkrauch: Вообще это называется клоакинг(когда показывают разный контент ботам/людям в нечестных целях) если я не ошибаюсь. Поэтому могут и обидеться теоретически

Answer 2

[Дмитрий]

А вы уверены, что они не индексируются? Добавьте и подтвердите сайт в яндекс вебмастере и гугл вебмастере, а там есть куча инструментов для отслеживания страниц в индексе, и т.д.

Comments

[ErickSkrauch]

Да, уже сделано - оба показывают лишь голый html, никакого ajax

[Дмитрий]

ErickSkrauch: так вы пробовали проверять в яндексе страницы, которые типа не индексируются? Там в виде результата выдается - есть ли страница в индексе или просто обнаружена роботом.

[ErickSkrauch]

Дмитрий, да, они в индексе, но контент не воспринимается, по ощущениям - все страницы фильтров считаются за одну, хотя это достаточно важно, чтобы они были разными.

Answer 3

[mayorovp]

Простите, а что на этих страницах вообще индексировать-то? Текста ноль.

Comments

[ErickSkrauch]

В том то и дело, что пользователь увидит картинку и поймёт, что она из себя представляет. Поисковик же навряд-ли оценит их. Я не знаю, но оценят ли поисковики тег alt?

[mayorovp]

Оценят. Только вот откуда вы альты возьмете? И как вообще можно описать словами скин?

[ErickSkrauch]

Ну, у некоторых скинов есть названия - их могут устанавливать сами пользователи (у меня открытая платформа в этом плане - редактируй что хочешь). Конечно это увидят не все, но всё же если смотреть на конкурентные решения с незамысловатой вёрсткой\дизайном\функционалом - они отлично индексируются, а меня даже и близко в топе нету по целевым запросам. Это уже конечно вопросы SEO оптимизации, но ведь по запросам "Система скинов <для_minecraft> <на_версию>" смог вывести на первые позиции, а в случае со скинами уже прошло полтора месяца - никаких подвижек.

Answer 4

[Nikita Tarasov]

Тот метод, который Вы описали больше смахивает на клоакинг - можете поймать санкции со стороны ПС
В индексе порядка 40К страниц

Добавьте в robots.txt ссылку на XML карту сайта
и пропишите адрес XML карты сайта через вебмастер