Как блокировать все возможные поисковые боты?

Question

[WTERH]

Есть задача заблокировать доступ к индексации всеми возможными поисковыми системами и их пауками\ботами.
Хочется сделать правильно\канонично.
В текущий момент раздумываю над чем-то подобным:

$ua = $_SERVER['HTTP_USER_AGENT'];
if(mb_strpos($ua, "bot") || mb_strpos($ua, "crawler") || mb_strpos($ua, "spider")){
header("Location: some.url");
}
else{
...
Содержимое страницы
...
}

Но не уверен, что это правильно или, что учтены все возможные варианты.

Answer 1

[DevMan]

а в чем смысл? нормальные поисковики реагируют на запрет в роботс.тхт, а ненормальные могут иметь какой угодно UA.

Comments

[WTERH]

На случай, если robots.txt будет проигнорирован, либо отсутствовать в корневом каталоге, естественно.

[DevMan]

WTERH, если мне срать-плевать на твой robots.txt, то в UA у меня не будет ни bot, ни crawler, ни spider, ни другого подобного, а будет что-то вроде "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36".

либо отсутствовать в корневом каталоге, естественно

ну это уже совсем беда.

Answer 2

[Игорь]

Можешь неавторизованным пользователям ничего не показывать, бот как раз не увидит

Comments

[WTERH]

как вариант, тоже рассматриваю

Answer 3

[Александр Таратин]

robot.txt
noindex nofollow

Comments

[WTERH]

спасибо капитан, и так знаем, но паранойи для)

[Александр Таратин]

WTERH, Хороший бот не будет их игнорить. Плохой бот скажет, что он браузер в user-agent.

Answer 4

[xmoonlight]

Выведите 2-е похожие картинки, но на одной из них, заранее уберите какой-то предмет. И попросите выбрать предмет, которого не хватает, с помощью одного клика/тапа по любой из картинок.
Промахнулись - новая задачка, угадали - пускаем к контенту.
Генерируйте задачки процедурно!

Для живого человека - это будет просто (главное слишком мелкие предметы не делать), а для большинства ботов - это будет непреодолимой преградой.

Comments

[WTERH]

Речь о рекапче? Занятно, подумаю)

[xmoonlight]

WTERH, нет. Забудьте про рекапчу как про страшный сон!
Делайте своё: обычную капчу (self-hosted), работающую так, как я написал в ответе.

[xmoonlight]

WTERH, Вот пример:
И бочку перемещаем так, чтобы не перекрывать морды животных в случайное место.
1 клик по бочке - и заходи.
Не нажал на бочку - другая картинка и бочка в другом месте.
Достаточно 5-6 подложек.

[WTERH]

xmoonlight, это перебор, мой внутренний параноик не готов к таким извращениям) Но затея занятна!

[xmoonlight]

WTERH, как по мне - это самая адекватная людская капча.

[WTERH]

xmoonlight, тем не менее, в текущем контексте, это излишне

[xmoonlight]

WTERH, любой другой вариант - не вариант: будут парсить.

[WTERH]

xmoonlight, а это вряд ли. Регистрация по инвайту. Без него доступа к внутренностям нет. А без регистрации к доступу только 1 страница, и та только с формой входа и логотипом.

[xmoonlight]

WTERH, ну по одному акку пустят робота-парсера

[WTERH]

xmoonlight, создание акка простым и открытым путем отсутствует. на выбор только инвайт или донат(огромный)