Как выглядит алгоритм проверки текста на уникальность в сети?

Question

[blabs]

В сети присутствует ряд сервисов, которые позволяют сделать проверку уникальности текста. Как выглядит алгоритм проверки? Поделитесь опытом или описанием того, как можно это реализовать.

Comments

[Lander]

Первое что приходит в голову, что сервис гуглит этот текст! :) Шутка, конечно же! :)

[Дмитрий Энтелис]

Lander: А это не шутка

Answer 1

[Дмитрий Энтелис]

Поставьте себе адвего плагиатус десктопный и перехватите от него траффик.
Он бьет текст на семантические куски и ищет их в разных поисковиках до Nй странице выдачи

Comments

[blabs]

нам нужно серверное решение с автоматизацией процесса сравнения. Есть такое?

[Дмитрий Энтелис]

blabs: напишите - будет. ну и под большими нагрузками работать не получится, вас поисковики забанят. с проксями мороки очень много и не масштабируется нормально.