Что такое токенизация текста?

Question

[Тарас Сереванн]

Здравствуйте!

Может кто-то наглядно и простым языком объяснить, что такое токенизация текста в машинном обучение и как она применяется на практике

Answer 1

[longclaps]

токенизация - разбиение текста на слова ( и не-слова, те знаки препинания, границы абзацев и т.п). Полезность её в машинном обучении - прямое донесение до сетки факта, что человек (чьим действиям её надо научить подражать) воспринимает текст как поток слов, а не поток букв.