Как разобраться в машинном обучении на питоне?

Question

[Wade2k]

Приветствую.
Хочу попробовать машинное обучение - с чего начать?
Желательно на питоне и желательно для анализа текстов)

Может есть какие-нибудь книги по этой тематике или куда лучше сразу смотреть?

Answer 1

[Дмитрий]

Если в кратце то:
1. Дб корпус текстов с лейблами (например, позитивный твит, негативный твит)
2. Удаляешь знаки препинаия
3. Удаляешь стоп слова (предлоги и пр. не имеющее смысловой нагрузки)
4. Делаешь стемминг
5. Из каждого твита делаешь набор н-грамм
6. Из н-грамм делаешь TF-IDF словарь
7. Сплитишь полученный словарь на данные для обучения и данные для тестов
8. Засовываешь все это в понравившийся алгоритм для МЛ, например, так:

clf = RandomForestClassifier(n_jobs=-1)
clf.fit(X_train, y_train)

9. Сохраняешь полученную модель в пикл и потом уже используешь ее для текстов, которые необходимо классифицировать.
predict = clf.predict(tfidf_predict.toarray())

Comments

[longclaps]

А в этом ответе как разобраться?

[Дмитрий]

longclaps: Так же как и с книгами по МЛ - гугл, а так, изложив краткое содержание практически всех "учебников", я сохранил человеку кучу времени на чтении подобного хлама

[Wade2k]

Дмитрий: Спасибо. Я практически все понял, остальное почитаем. )