Как запретить сторонним сайтам извлекать информацию со страниц моего сайта?

Question

[Ewboa]

Например копирую ссылку с определенной страницы сайта и вставляю в vk. Как сделать, что бы мой сайт запрещал вконтакту формировать превью по ссылке моего сайта? Реально?

Comments

[Ewboa]

в htaccess адрес вк откуда он смотрит 87.240.182.147

Answer 1

[A K]

Удалить свой сайт.

Comments

[Ewboa]

не весь сайт а всего одну страницу

[A K]

Ewboa: как пожелаете

Answer 2

[m0rd]

Вконтакту скорее всего реально. Надо посмотреть, с каким user agent он ходит по сайтам и тупо запрещать его (это первое, что приходит в голову). Для общего случая нет. Ну либо это будет сделано с большим ущербом для юзабилити.

Upd. Вариант для общего случая: определияем ip, потом whois ну или nslookup его и решать - пользователь это или парсер

Comments

[Ewboa]

ну вот всех ботов запретил таким образом
User-agent: *
Disallow: /
вконтакт все равно формирует.. плохо.

[m0rd]

Ну вы молодец, значит вконтакт не бот и маскируется.

[Ewboa]

Александр А: не понял.

Answer 3

[tzlom]

Трюк прост - заведите куку которая выставляется посетителю при первом заходе на сайт, если куки нет - выставляйте куку и отдавайте страницу где редирект будет оформлен как JS или средствами html , но не 403. Для пользователя заметно не будет, а для робота можно сделать целый лендинг.
Только надо будет предусмотреть чтобы поисковики не умирали от этого, но это уже проще - они не прячутся.

Comments

[Игорь]

супер :)

[Ewboa]

спасибо)

Answer 4

[haiku]

Смотрите хедеры откуда к вам стучат, да режьте неугодных на корню.
Можно даже без кода обычным фурволом а-ля iptables или каким-угодно.

Answer 5

[Padabum]

Посмотрите, как строить robot.txt, запретите индексацию.

Comments

[Ewboa]

я написал выше, построил робота. вконтакт все равно формирует страницу превью.. у вконтакта нет юзер агента, он смотрит как обычный пользователь.. выход - ip

[m0rd]

robot.txt и запрет индексации не защитит сайт от парсера

[Ewboa]

m0rd: воот) только блок по ip

Answer 6

[SagePtr]

Совсем уж параноидальный вариант - собирать содержимое сайта яваскриптом. Тогда поисковики проиндексировать не смогут.

Comments

[Ewboa]

пока сложно яваскрипт. но спасибо)

[Дамир Рысаев]

Поисковики могут индексировать сайты на JS

[SagePtr]

Дамир Рысаев: насколько точно они эмулируют браузеры юзеров? Вполне можно проверять, если по телу страницы происходило движение мышкой, только тогда и отображать. Думаю, движения мышки они точно не эмулируют (если злоумышленник нарочно не сделает бота, который будет делать это)