Как определить правильно ли сканирует Googlebot мой сайт?

Question

[Егор Ш.]

Добрый вечер!
У меня сайт написан на ангуляре, написал на серваке пару методов для отдачи статичесих страниц, плюс на nginx настроил переадресацию на эти методы сервера. Попробовал протестировать, в safari можно подставить User Agent на какой нужно, подставил гугловский, перешел на свою страничку и все ок, так как надо. Потом решил воспользоваться google console и там есть такая штука как "Просмотреть как Googlebot", вбил ссылку на сайт и он мне выдал вот это: И вот теперь сижу и думаю, правильно ли работает у меня редирект, кто подскажет? Может кто с этим сталкивался?

Comments

[landergate]

Правильно относительно чего?
Какую именно проблему/задачу Вы стремитесь решить?

[Егор Ш.]

landergate: Я просто не знаю, бот гугла нормально перенаправляется на нужную страницу или нет. Если в браузере подменить юзер агент то все ок, если через консоль гугла то там появляется то, что я прикрепил к вопросу

[landergate]

Егор Ш.: Уточню, что делать редиректы, работающие _только_ для Googlebot (т.е. редиректы, целенаправленно ведущие себя иначе при других User Agent) - это плохая практика и считается подменой контента, чёрным SEO. Это плохо отражается на рейтинге и позициях.

[landergate]

Егор Ш.: Хотя судя по скринам и ссылкам, вряд ли Вы здесь занимаетесь подменой контента. =)

[Егор Ш.]

landergate: Просто я что то не придумал другого способа отдавать контент поисковикам(

[landergate]

Егор Ш.: А какой контент Вы хотите отдать поисковикам?
Можете подробнее описать, что Вы делаете? Вы показываете пользователям одно, а поисковикам - другое?

[Егор Ш.]

landergate: нет, показываю я одно и то же, просто боты поисковых систем не умеют исполнять JS, и я сделал так, чтоб при переходе по ссылке к примеру queryme.ru/Egorkze (профиль пользователя) поисковик перенаправлялся на api.queryme.ru/v1/static?url=/Egorkze, когда сервак получает этот редирект и генерит html страничку с инфо этого пользователя и отдает боту

[landergate]

Егор Ш.: Понятно. =) Тогда всё должно быть хорошо.
Боты поисковиков исполняют JS, просто не при любых условиях считают важным переходить по js-ссылкам.

https://developers.google.com/webmasters/ajax-craw...
searchengineland.com/tested-googlebot-crawls-javas...

Answer 1

[landergate]

Да, редирект работает правильно.
Он отдаёт паукам Google ответ 301 с нужной ссылкой.

Теперь весь индекс, связанный со старой ссылкой, будет перестраиваться на новый адрес.

Comments

[Егор Ш.]

Спасибо!

Answer 2

[#алгоптимизируй #отботизируй]

А можно глянуть HTTP REQUEST в обоих случаях? полные

Comments

[Егор Ш.]

на картинке ж видно, или я не о том?

[#алгоптимизируй #отботизируй]

На картинке я вижу RESPONSE(ответ сервера), я хочу request(запрос) клиента в обоих случаях

[Егор Ш.]

С Sharp: я просто перехожу по ссылке моего домена, полностью request я не вытащу

[#алгоптимизируй #отботизируй]

В броуpере консоль разработчика откройте и вкладку network
или fiddler или логи на сервере.

[landergate]

С Sharp:
Для уточнений существуют комментарии к вопросу. =)
Постя уточнения вот так, Вы создаёте "ответ".

[#алгоптимизируй #отботизируй]

landergate: Вот только не нужно флудить в моем ответе =) Свой заведите =) Да,я в курсе, мне так удобно.

[landergate]

С Sharp: Это же идёт вразрез с семантикой сайта. :(
Ваши уточнения и реплики вместо ответов могут помечать для модерации, как "это не ответ, а реплика".

[#алгоптимизируй #отботизируй]

landergate: Лень описывать плюсы, снесут, так снесут. Я не обидчивый