С помощью каких методов NLP можно разделить большой текст на совокупность маленьких объединённых по смыслу?

Question

[namelessanonymous]

Существуют ли какие-то методы/подходы nlp которые позволят разделить большой текст на несколько частей так, чтобы каждая из частей содержала в себе конечную отдельную тему, не теряя (обрезая) смысл?

Comments

[namelessanonymous]

Кажется, это не совсем то, но может кому-то пригодится, в случае если кто-то будет искать ответ на аналогичный вопрос.
https://towardsdatascience.com/nlp-splitting-text-...

[uvelichitel]

По абзацам?))

[shurshur]

namelessanonymous, вообще говоря, NLP это не про поиск смысла. Это про синтаксическое деление, морфологический анализ и всё такое.

[FanatPHP]

shurshur, а разве это не про слупить денег на тренингах?

[namelessanonymous]

shurshur, если это не про поиск смысла, то чем тогда занимается такой раздел лингвистики (и nlp соответственно) как прагматика?

[namelessanonymous]

FanatPHP, вы считаете nlp не существенным? Почему? Очень интересно услышать Вашу позицию.

[namelessanonymous]

uvelichitel, а если несколько абзацев связаны так, что без первого сложно понять второй и разделять их ни в коем случае нельзя? Или деление по абзацам произошло некорректно, с ошибкой. В конце концов, текст может быть не размечен на абзацы, но как его тогда на них разбить?

[FanatPHP]

namelessanonymous, вы правда от меня это хотите услышать? Других источников вы не знаете? :)

Нейролингвистическое программирование (НЛП, от англ. Neuro-linguistic programming) — псевдонаучный подход к межличностному общению, развитию личности и психотерапии. НЛП было разработано в 1970-х годах американцами Джоном Гриндером и Ричардом Бендлером.

Псевдонау́ка (от греч. ψευδής «ложный» + наука), лженау́ка — деятельность или учение, представляемые сторонниками как научные, но по сути таковыми не являющиеся[1][2]. Другое распространённое определение псевдонауки — «мнимая или ложная наука; совокупность убеждений о мире, ошибочно рассматриваемая как основанная на научном методе или как имеющая статус современных научных истин»[3].

[shurshur]

FanatPHP, вот плохо, что большинство знают бредовую расшифровку этой абревиатуры. Но нет, это Natural Language Processing.

[Everything_is_not_so_bad]

FanatPHP,
У аббревиатуры NLP есть и другие значения.

[shurshur]

namelessanonymous, https://en.wikipedia.org/wiki/Natural_language_pro... можно посмотреть, что обычно подразумевают под NLP. В большинстве случаев NLP это про синтаксический анализ, формы слов, похожие тексты и прочие узкие штуки. Поиск смысла - это ооочень сложно и неоднозначно, тем более если речь идёт о произвольных текстах любой тематики и размера.

[namelessanonymous]

shurshur, я и не говорю, что это самая дефолтная задача NLP, но NLP включает и её.

[namelessanonymous]

FanatPHP, значит, вы перепутали терминологию. В контексте заявленных тегов и заявленной проблематики NLP -- это иное:

Обработка текстов на естественном языке (Natural Language Processing, NLP) — общее направление искусственного интеллекта и математической лингвистики. Оно изучает проблемы компьютерного анализа и синтеза текстов на естественных языках. Применительно к искусственному интеллекту анализ означает понимание языка, а синтез — генерацию грамотного текста.

[Николай Савельев]

FanatPHP,

а разве это не про слупить денег на тренингах?

Ты путаешь NLP и НЛП. Это разные термины. Как CEO и SEO