Как сделать бинарную классификацию текстов на python?

Question

[kosmo_tony]

Есть набор научных статей по различным темам. Нужно классифицировать по двум классам: математические и не математические. Я не нашёл, но может уже есть готовое решение данной или похожей задачи?

Answer 1

[dmshar]

Вообще-тот материалов в сети не просто много, а необозримо много. На любой цвет и вкус, с учетом любого инструмента, которым вы владеете. Практически любая книга по машинному обучения или по Нейросетям сегодня обязательно содержит раздел, посвященную работу с текстами и классификация - самая простая задача, которая при 'том обсуждается.
Вот тут почти элементарное введение в тему, что как и почему делать:
https://tproger.ru/translations/text-classificatio...
Вот тут разбивают на 20 тем, но вы можете и сократить до нужных вам двух:
scikit-learn.org/stable/tutorial/text_analytics/wo...
Вот тут описана "Готовое решение" с помощью другой библиотеки
www.nltk.org
Но главная проблема не в источниках. Главный вопрос - у вас есть достаточно объемный и при этом размеченный набор данных для обучения любого алгоритма? Если есть - можно и источники поизучать, а если нет - то подумайте, как найти такой набор.

Answer 2

[Данил]

Поддерживаю dmshar в том что в сети много примеров решения подобной задачи. Хочу только добавить, что если у Вас нет размеченных данных, но Вы уверены, что в текстах только 2 темы, существуют так же методы классификации - неплохой пример.

Comments

[kosmo_tony]

Среди моих текстов тем много, но мне нужны только тексты из области математики. Я так понимаю, в данном случае можно считать, что у нас имеется 2 кластера (по аналогии с задачей определения спама в письмах - "спам"/"не спам") - "математическая статья" / "не математическая статья (биология, география, физика, и т.д.)".

[Данил]

Тут все зависит от того есть у Вас размеченные данные или нет. Если есть размеченные данные, тогда это задача классификации. Если нет, тут все сложнее. Но если Вы знаете количество тем, то можно попробовать использовать LDA для разделения по темам.

[Dimonchik]

нашурупь багвордс из википедиыйных статей

можешь даже пересечением с

(биология, география, физика, и т.д.)

оттуда же