Категоризация текста

Question

[EminH]

Добрый день.
Буду благодарен за наводку по решению такой проблемы:
база данных новостей с заголовком и текстом, надо определить категорию каждой новости использую только контент (PHP & MySQL)
понимаю что нужен словарь, есть ли где либо что-то готовое?

Спасибо

Answer 1

[Дмитрий]

может хватит простенького велосипеда на чистом mysql без хитростей?

update `news` set `category`='disaster' where `content` like '%катастрофа%' or `content` like '%трагедия%';

Comments

[EminH]

вопрос больше про откуда взять список слов типа '%катастрофа%' or '%трагедия%';

[amstr1k]

Находим нормальный сайт новостей и берем оттуда категории!

SELECT `id` FROM `article` WHERE `text` LIKE '%категория%';

[EminH]

Находим нормальный сайт новостей

Новость в категории «трагедия» может содержать слова не имеющие отношения к трагедиям

[amstr1k]

Вы совсем не хотите подумать! Например можно прочитать пару новостей которые относятся к трагедиям, увидеть что там скорее всего будет повторятся слово «произошло» и искать.

[EminH]

Думать может я и хочу, не хочу ручками все делать. Ведь кто то наверно это уже делал!

Answer 2

[Виктор Кузнецов]

Вообще, это тема Machine Learning, если хотите достаточно качественно распределить контент на категории.

Comments

[EminH]

в принципе достаточно среднего уровня, что то для предложенного выше. То есть мне нужен список ключевых слов по значимости для категорий.

[Виктор Кузнецов]

Самое простое — берете RSS различных сайтов по категориям, ищете самые популярные слова, сохраняете их в базу к себе.