Проверка текста на плагиат?

Question

[Александр Бармин]

Добрый день, Хабр!


Подскажите настольное или веб-приложение приложение, которое бы проверяло текст на плагиат. Сервисы типа антиплагиат.ру не подходят по той причине, что они проверяют текст по базе, в которой находятся тексты разных тематик.


Я хочу сам сформировать базу тематических текстов, по которым я и буду проверять на плагиат.

Comments

[Trept]

Вы готовы перенести Вашу базу текстов на сервис проверки плагиата в Интернете?
Или решились инсталлировать и поддерживать сервер у себя?

[Александр Бармин]

Решил инсталлировать сервер у себя

Answer 1

[Александр Бармин]

Оказалось, гуглил не в ту сторону))) По запросу «пакетное сравнение текстов» выпадает куча того, что нужно. Всем спасибо за помощь!

Если вдруг кому интересно станет, ссылка на список софта для лингвистического анализа.

Answer 2

[girichev]

Не совсем понял, может быть advego.ru/plagiatus/

Comments

[Александр Бармин]

Да, именно это, только указанное ПО ищет нечеткие дубликаты в интернете, а мне нужно проиндексировать локальные файлы и искать по ним.

Answer 3

[Кирилл Мамаев]

Тысячи, рерайтеров совершенствуются в этом нелегком деле, а Вы хотите так просто взять и выявлять плагиат.

Comments

[Александр Бармин]

Есть необходимость проверять сдаваемые дипломы на копипасту с уже имеющихся, так что это не связано с копирайтингом в интернетном смысле. Просто нужно проверять, что заново не сдаются одни и те же дипломы, например, десятилетней давности.

[Кирилл Мамаев]

Глубокий рерайт в таком случая тоже не плагиат, дипломы из-года в год на одни и те же темы прекрасно сдаются. А вот отлавливать явную копипасту — это вообще просто. Если, честно, то думал, что все намного сложнее, вплоть до смыслового анализа материала.

[Александр Бармин]

Да, отлавливать копипасту просто. На хабре даже статья была про поиск нечетких дубликатов, но там только описание алгоритма. Пока ищу готовую реализацию.

Answer 4

[gribozavr]

Вы не ту проблему решаете. Иначе говоря, вы тушите пожары когда нужно найти тех, кто поджигает.

Чтобы не сдавали дипломы десятилетней давности нужно утверждать темы, актуальные и нужные сегодня и сейчас. А не давать темы десятилетней давности. Вы же тратите труд студентов непонятно на что, когда студенты в процессе написания диплома могли бы помочь решить реальную задачу и принести пользу.

Comments

[Александр Бармин]

Ну, это естественно, что нужно давать актуальные темы, но это не от меня зависит — моя работа организовать сервис по проверки насколько сдаваемый диплом похож на все предыдущие.

А так, я не преподаватель и свой диплом уже написал =)

[gribozavr]

Попробуйте объяснить это тем, кто поставил вам эту задачу. Если это адекватный человек — он должен понять суть проблемы и вполне возможно эту задачу решать не понадобится.

[Александр Бармин]

Суть проблемы и так ясна, но решать ее все равно нужно, хоть и не такими средствами. Даже если отойти от тематики дипломных проектов, то данное ПО можно было бы использовать не только для проверки дипломов на плагиат, но и любых других документов на схожесть внутри своей группы — учебные программы или стандарты, например.

[gribozavr]

Нельзя будет. Начнутся переименовывания переменных и бездумный рефакторинг старого кода. Чтобы лабораторные сдавались честно, нужно… (внимание!) честно их проверять во время сдачи. Не формально, «ой, принесли макулатуры, положите в дальний угол», а задать вопросы по сути работы и по коду (если это программа).

[Александр Бармин]

Я и сам учился, и обидно было, что написанные с усердием программы и унылая копипаста принимались одинаково.

У меня еще будет возможность попреподавать, так что смогу воспользоваться Вашим советами)

Answer 5

[reno]

Есть несколько вариантов проверок, вот 2 из самых простых:
1. Случайный кусок текста (с размером куска нужно будет определиться самому) кидать в поисковик (ya.ru/google.com) в кавычках и смотреть на результаты поиска, а именно на 100%-ое совпадение.
2. Если есть предположение, что текст состоит из кусков чужих работ, то самый простой, но не очень надёжный способ — это подсчитать количество слов в каждом предложении, подсчитать средне арифметическое каждого абзаца и если будет большое отклонение от среднего в одном из абзацев, то этот кусок предположительно украден, тогда и проверяем его по пункту №1.

А вообще есть волшебные математические способы проверки стилистики изложения автора (правда давно это было и название уже не вспомню с ходу), если от главы к главе, от абзаца к абзацу, от предложения к предложению стиль резко изменяется, то можно предположить о том что текст представляет из себя монстра Франкенштейна куски чужих работ.

Надеюсь, что-то, из выше описанного, поможет Вам в поисках истины и авторского права.

Comments

[Александр Бармин]

Кидать в поисковики — не вариант, так как предполагается проверять дипломы по имеющейся базе дипломов. Соответственно, в гугле их, скорее всего, нет.

Логично, что стоит использовать алгоритм шинглов для поиска нечетких дубликатов, но на текущий момент задача не написать свою систему с нуля, а сначала попытаться найти что-нибудь уже готовое, поэтому и спрашиваю, может кто знает подобные системы.

Answer 6

[Павел]

Проверка уникальности текста на сайтах.

Advego Plagiatus — free
Yazzle: можно проверять много текстов сразу

Comments

[Александр Бармин]

Спасибо за ответ, но это все равно проверяет тексты в интернете, а не из локального источника.

Answer 7

[anmipo]

Не совсем антиплагиатный инструмент, но может быть Вам поможет программа-конкордансер. Есть настольные версии, которые индексируют пачку txt-файлов, а потом по введённому слову показывают все найденные контексты его использования. В статье на Грамоте приводится пример с «Евгением Онегиным» в качестве базы, и искомого слова «Москва»:

Москва, России дочь любима, — Эп.Г7.1
Как и надменная Москва. — Г4XVII.14
Москва, я думал о тебе! — Г7XXXVI.12
Москва… как много в этом звуке — Г7.XXXVI.12
Нет, не пошла Москва моя — Г7.XXXVII.8

Понятно, что диплом придётся проверять по случайно выбранным словосочетаниям, но хоть какая-то автоматизация…

Comments

[Александр Бармин]

Спасибо, уже почти то, что нужно!

Answer 8

[mromanov]

Сервис антиплагиат.ру поддерживает возможность создания своей базы текстов и поиска по этой базе. Правда, это платная фича.
Причём есть возможность держать базу как у них на серваке, так и у себя.

Comments

[Александр Бармин]

Спасибо, но не совсем так как нужно.

Answer 9

[Александр Бармин]

Вот, нашел приложение, которое делает то, что нужно! Это не пиар, поэтому ссылка через сокращалку и не ссылка вообще u.to/HVdOAQ

Comments

[Trept]

Похоже, это приложение не составляет индекс шинглов. По этой причине придется сравнивать каждый текст со всеми. Следовательно, скорость работы пропорциональна объему базы. Устроит Вас такая скорость?

[Trept]

Есть хорошая обзорная статья Шарапова www.rae.ru/use/?section=content&op=show_article&article_id=7796702. Посмотрите.

Answer 10

[Trept]

И вторая статья того же автора уже с его системой: ceur-ws.org/Vol-803/paper16.pdf

Answer 11

[Vovicc]

1 От заката до рассвета у студента нет просвета
Пишет бедный рефераты, как уйти от плагиата!
Ведь работу проверяют, вот он голову ломает
Почему не уникально, приуныл сидит печально,
После, малость поработав, рефератик обработав,
Получаешь результат- 100 процентов: счастлив, рад!
Польза есть от АнтиПЛАГА, для студентов- только благо!
Пишите: [e-mail]
Сайт antiplag.com.ua antiplag.ru
7 [phone] Россия [phone]

Answer 12

[RomanovI]

Я пробовал, пропустил курсак через эту систему. Обошел программы Antiplagiat.ru, Etxt-антиплагиат, как они пишут, хотел сделать из 10% 95%, а получилось всего 80% , самое главное быстро и всегда онлайн. Пользуйтесь antiplag.ru + 7 [phone] Россия, [phone] Украина и экономьте!

Answer 13

[Игорь Поддубный]

Есть отличны вариант: https://antiplagiat.org/.
Ресурс помогает проверять и поднимать уникальность любого текстового документа. Делают автоматический и ручной рерайтинг.