Как реализовать сентимент-анализ текста?

Question

[signalizator]

Необходимо определить тональность комментариев на сайте по шкале баллов с учетом словосочетаний и оборотов.
Например: от 1 до 30 баллов — потенциально негативный, 30-60 нейтральный, 60 и выше потенциально положительный.

На данный момент классификация осуществляется с помощью приведения слов к нормальной форме, получения словоформ и фильтра Байеса.

Но такая система выдает только фиксированные состояния и не учитывает словосочетания и обороты.
Теоретически можно сделать много фиксированных состояний, но тогда обучение становится трудным и ресурсоёмким.

Answer 1

[mephistopheies]

я так понял вы используете naive Bayes модель, в которой вычисляется вероятность положительной оценки при данном наборе слов в комменте и умножая на 100 получаете баллы?

Answer 2

[signalizator]

да, сейчас используем 3 состояния «плохо, нейтрально, хорошо».

Comments

[mephistopheies]

а используете юниграмы для обучения или последовательности более высших порядков?

[signalizator]

Юниграммы, собственно и задача заключается в том, чтобы оптимально учитывать последовательности слов.

[mephistopheies]

на счет оптимально не знаю, но для учета последовательностей можно использовать в той же модели байеса еще и последовательности, биграмы триграмы и т.д.

из более изощренных методов, можно взять лингвиста и выделить ряд фич типа «положительное-прилагательное существительное», или более конкретные фичи «автор ты негативное-прилагательное» =) ну и т.д. набрать штук 50 фич для начала. затем обучить линейную регрессию каким либо алгоритмом обучения.

из этих же фичь можно сделать обучающее множество для какого нибудь алгоритма оптимизации, допустим для нейросетки, и обучить эту модель

вообще используя такие фичи можно учитывать как раз разговорные словоформы и отношения между словами

Answer 3

[ash_kgd]

www.sasbi.ru/sentiment-analiz/ эта статья будет для Вас полезной.

Answer 4

[Fahrenheit]

По «правильному» — полный синтаксический и по воозможности семантический анализ (у нас именно так реализуется). Однако при «бюджетной» реализация я бы хотя бы попробовал учесть пару моментов:
1) Anaphora resolution (попытки угадать, к какому слову относятся местоимения «это», «он», «it» и т.д. позволят получить более хороший результат в более сложных случаях чем «синее небо — это хорошо»
2) Правильная привязка отрицаний (написал, и понял, что без синтаксического дерева ее сделать не тривиально, но можно хотя бы постараться учесть основные случаи). Это позволит понять, где отрицается объект, где — характеристика