Сравнение большого количества текстов (php+mysql)

Question

[Кирилл Сиренко]

День добрый!
Возникла задача на одном проекте сравнивать тексты из БД.
Я попробовал similar_text но он оказался слишком прост для моей задачи. Попробую ее конкретизировать.
У меня есть, например 30 текстов. Они распределены по 5 категориям. Задача: сравнить все 30, чтобы объединить их в меньшее количество по схожести. Язык — php, база — mysql
Что лучше всего использовать?

Comments

[MaxUp]

а сравнить-то как? Просто по общей степени схожести, поблочно, по ключевым словам, антиплагиат?

[Кирилл Сиренко]

думаю, что по общей степени. А поблочно — это как?:)

[Кирилл Сиренко]

человеческая цель: найти тексты на схожую тему, так что надо по степени схожести и ключевым словам, я думаю.

Answer 1

[Max]

Попробуйте сравнивать слова, а не символы. В общем это — Байесовская категоризация. Но если у Вас действительно ~30 текстов а не 30тыс, то это проще сделать руками :)

Comments

[Кирилл Сиренко]

30 текстов — ежедневно :)

[Max]

Может быть, если категории определены, то можно сделать карту объединения? Например мы знаем, что категории «томаты» и «капуста» нужно объединять в «овощи» и т.д.

[Кирилл Сиренко]

к сожалению, не пойдет. Ситуация скорее такая:
Политика 1
— Вообще неведомая новость
— Выборы президента Венесуэлы
— Другая новость

Политика 2
— Главу Рослесхоза отправили в отставку
— Президента Венесуэлы выбрали!
— Еще новость
— И еще новость

Политика 3
— Новый президент Венесуэлы
— Отставка Виктора Маслякова

[Кирилл Сиренко]

Исходя из такого набора, мой скрипт как бы найдет сходство между текстами про выборы, междуу текстами про отставку.

[Max]

Попробуйте что-то вроде similar_text() только для слов целиком, мне кажется должно сработать — разбиваете такст на слова и находите пересечение массивов слов. Однако если будет новсть про отставку президента, то все они могу объединиться: выборы + президент + выборы + отставка.

Answer 2

[MaxUp]

можете посмотреть в сторону Simple NaiveBayesClassifier for PHP

Хороший цикл статей про Байесовскую категоризацию на php:
Implement Bayesian inference using PHP

+
на хабре недавно — Вероятностные модели: байесовские сети

Comments

[Кирилл Сиренко]

Прочитал об этой методике, пока смутно представляю как это соединить с моей задачей :(

Answer 3

[alt-j]

Если количество классов на выходе работы неизвестно, то, наверное, байесовская классификация вам не поможет, и надо смотреть в сторону кластеризации.