Taras_Serevann
@Taras_Serevann
веб-разработчик, автор

Что такое токенизация текста?

Здравствуйте!

Может кто-то наглядно и простым языком объяснить, что такое токенизация текста в машинном обучение и как она применяется на практике
  • Вопрос задан
  • 5140 просмотров
Пригласить эксперта
Ответы на вопрос 1
longclaps
@longclaps
токенизация - разбиение текста на слова ( и не-слова, те знаки препинания, границы абзацев и т.п). Полезность её в машинном обучении - прямое донесение до сетки факта, что человек (чьим действиям её надо научить подражать) воспринимает текст как поток слов, а не поток букв.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы