Привет всем тут в 2018м!
Как сейчас обстоят дела с поисковыми роботами, они научились переходить по ссылкам через Javascript или всё также смотрят на сайты как текстовый браузер.
Нужно узнать экспертное мнение.
пы.сы. нет, меня не интересуют серверные редиректы и в htaccess.
Да, понимают.
Уж точно формируют страницу с учетом JS, а потом анализируют.
Но лучше так не делать. Если вы препятствуете поисковым роботам, то это минус сайту.
Тогда отслеживайте активность пользователя. Например, вешайте onclick на глухую ссылку только при наведении на неё мыши. Такое поисковики не будут эмулировать. Сам URL в js, естественно, обфусцирован.
говорить и уметь вещи разные
а уж тем более разные вещи говорить и делать
что там творится в недрах поисковика кроме его разработчиков никто толком не знает
Ну почему же? Вот например Google Bot основан в данный момент на Google Chrome 42, с некоторыми правками (таймеры и время сильно ускорено, Math.random возвращает заранее просчитанные дискретные значения).
Предполагаю, что проект Puppeteer является частью Google Bot.
Простой
