Как выдавать 404 ошибку для всех поисковиков?

Question

[aPilot]

Как выдавать 404 ошибку для всех поисковиков на определённый файл, но не для пользователей?

Как это технически реализуется?

Answer 1

[Dimonchik]

1) проверяешь юзерагент
2) отдаешь 404ю

список агентов:
www.useragentstring.com/pages/Crawlerlist

см. googlebot, bingbot, yandex, baidu, Mail.Ru Bot

Comments

[aPilot]

"1) проверяешь юзерагент
2) отдаешь 404ю"
Это я и знаю. Поэтому и спрашиваю - как это технически делается?

[Dimonchik]

язык?

[aPilot]

dimonchik2013: php

[Dimonchik]

php.net/manual/en/function.header.php

см. ниже 404

сравнение с юзерагентом
stackoverflow.com/questions/677419/how-to-detect-s...
берешь второй ответ сверху

[aPilot]

dimonchik2013: а для JS есть ?

[Dimonchik]

для Ноды? есть, конечно, но хз как там что
для JS нет, поисковику на JS пофиг

[aPilot]

dimonchik2013: уже не пофиг с 2016))

[Dimonchik]

в данном контексте пофиг
а "не пофиг" с 2008го, и с 2013 официально

Answer 2

[Maronus]

Вам нужен robots.txt. Настройки могут различаться для разных поисковиков, так что вперед читать документацию для нужных.

Comments

[aPilot]

При чём тут robots ?!... вы вообще не в теме вопроса.

[Maronus]

Наверное потому, что вы хотите скрыть некую информацию от поисковиков, но не от пользователей, нет? Если вам прям именно 404 для роботов нужна (непонятно зачем), то то же самое — смотрите user-agent и кидаете 404 для googlebot и прочих. В чем проблема то?

[aPilot]

Maronus: "смотрите user-agent и кидаете 404 для googlebot и прочих." - как вы это себе представляете в robots ?

[Maronus]

В robots никак. Это надо в коде делать. Вот только зачем вам 404 отдавать роботам? Что это даст? Вы решаете несуществующую проблему. Запретите роботам ходить куда не надо в robots.txt и дело с концом.

[aPilot]

Maronus: вот именно что никак. смысл было отвечать на вопрос и посылать меня на документацию про robots?!...

[Maronus]

Вы принципиально игнорируете мои вопросы?)

[aPilot]

Maronus: "Вот только зачем вам 404 отдавать роботам?" - по моему ответ очевиден - чтоб не могли прочитать.

[Maronus]

Вы видимо не понимаете что делает robots.txt (а он этим и занимается - запрещает ботам читать те или иные страницы). Так что советую вам внимательно почитать мои ответы и внимательно почитать про robots.txt.

[aPilot]

Maronus: видимо вы не знаете что robots запрещает индексацию, а не читать.

[Maronus]

Что вы подразумеваете под "читать"?))
Процитирую например документацию Яндекса:
"Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву Disallow."
Если вы роботу запретили ходить в www.collsite.ru/catalog, то он туда и не пойдет. И не будет этот раздел "читать".

[aPilot]

вы святой или может вы считаете что люди делающие робота святые?!... вы никогда не делали то что вам запрещено?!...
С чего вы решили что роботам не интересно что у вас лежит в "чёрном ящике" и он как примерный мальчик будет слушаться ваших указаний?!...

[Maronus]

Интересно что там может быть такое, что нельзя смотреть роботу, но можно смотреть любому человеку в интернете (раз вы беспокоитесь о поисковике, то значит файл, который вы хотите скрыть находится во всеобщем обозрении, и не скрыт за авторизацией)? Что помешает разработчику (человеку) поисковика скачать ваш секретный файл?))
Это немного странная форма паранойи.

[aPilot]

интересно узнать какой у вас стаж в SEO ?)) и сколько ваших сайтов в топе?))

[Maronus]

На вопрос мой так и не ответили, а лишь скатились в "а чего добился ты?!". Грустно, батенька. Учитесь адекватно общаться с людьми.

[aPilot]

Maronus: вы тоже) со своими ответами - "так что вперед читать документацию для нужных."