Откуда text.ru берет данные для проверки на плагиат?

Question

[sokolnikov]

Привет. У кого есть какие предположения откуда text.ru берет данные для проверки на плагиат? У них есть какой-то более быстрый источник данных чем поисковая выдача.
Например, я на одном из сайтов добавил уникальный текстовый контент, и буквально через минуту он (контент) уже был обнаружен и проанализирован алгоритмом text.ru. А появления этого контента в поисковой выдаче яндекса и гугла еще надо ждать не одну неделю.

Comments

[xmoonlight]

1. А как Вы это определили?
2. В логе было обращение к Вашему веб-серверу от краулера text.ru?

[sokolnikov]

Лог не проверял.
Я проверял текст на уникальность на text.ru, он был 100% уникальный, потом сохранил его на сайте, и проверил уникальность еще раз. На этот раз text.ru сказал, что уникальность 0% и выдал ссылку на только что сохраненную мной страницу моего сайта.

[sim3x]

sokolnikov:
Что такое

только что сохраненную

в секундах?

[Станислав]

А появления этого контента в поисковой выдаче яндекса и гугла еще надо ждать не одну неделю.

Ошибочное мнение. Пересчет индекса поисковиков - да, не сразу происходит практически всегда. Попадание в индекс - другая история.

[xmoonlight]

sokolnikov:

потом сохранил его на сайте, и проверил уникальность еще раз.

повторная проверка шла через URL вашего сайта?

[sokolnikov]

sim3x: 20-30 cекунд

[sokolnikov]

xmoonlight: нет, просто проверку текста на уникальность делал.

[Wexter]

sokolnikov: т.е вас не смутило что вы отдали текст им, а потом проверили ещё раз?

[sokolnikov]

Wexter: я отдал им текст, а не ссылку на текст. У меня вопрос именно в том, как они так быстро нашли этот текст на только что опубликованной странице.

[xmoonlight]

sokolnikov: значит вы дали сайту text.ru два раза текст напрямую из буфера. А что Вы выложили этот текст на своём сайте - text.ru и понятия об этом не имеет.
В итоге - он просто хэш шингл/триграмм построил и записал в базу.
Вот и вся магия.

[xmoonlight]

sokolnikov: А Вы счётчик уникальности от text.ru - ставили на сайт?

[Wexter]

sokolnikov: мне кажется им пофигу на то что он где-то опубликован, этот текст вбили у них на проверку и они его запомнили. ваш сайт они даже не открывали для этого
попробуйте вбить новый текст, которому он укажет 100% уникальности, а затем прогоните ещё раз, не публикуя нигде. скорее всего он покажет 0%, ибо запомнил его

[xmoonlight]

sokolnikov:

У меня вопрос именно в том, как они так быстро нашли этот текст на только что опубликованной странице.

1. Вам прям линк показали или как?
2. Вы счётчик уникальности от text.ru - ставили на сайт?

[sokolnikov]

xmoonlight: 1. да
2. нет

[sokolnikov]

Ладно, решил провести еще несколько экспериментов. Прогоню еще несколько текстов, постараюсь сделать наблюдения.

[xmoonlight]

sokolnikov: что-нить удалось выяснить эксперементами?

Answer 1

[Юрий Есин]

Скорее всего, там классический "накопительный" подход бигдаты. Асинхронно в бэкграунде идёт парсинг данных из сети, это позволяет всегда держать данные актуальными и динамически её пополнять. Затем формируются метаданные для быстрого анализа, они уже и хранятся в базе сервиса. Затем, когда Вы уже непосредственно ввели текст и отправили на валидацию, идёт анализ сопоставлений с помощью нечёткого поиска или других оптимизированных алгоритмов работы с текстом, сопоставляются метаданные и выдаётся результат. Конечно, я могу и ошибаться, но если бы мне нужно было реализовать подобное решение, то принцип работы у него был бы схож с вышеописанным.

Answer 2

[Dimonchik]

ха-ха, все неизведанное нам кажется чудесным

секрета никакого нет: поисковики

появления этого контента в поисковой выдаче яндекса и гугла еще надо ждать не одну неделю.

, а в duckduckgo можно и не ждать

разумеется, text.ru держит нос по ветру и пасет остальные биржи ( быстро выложил, быстро проиграл (с)), но чуСед никаких нет, есть просто что-то вам непривычное

это очевидно при проверке текста, например, с разных ИП