Какой js фреймворк лучше использовать для выделения терминов в предложениях?

Question

[ayapergenov]

Нужен мощный javascript framework для грамматического выделения терминов в предложениях, чтобы производить сложную манипуляцию словами. Например, выделить все союзы или глаголы или сразу все части речи.
Можно ли сделать это без присвоения класса каждому термину и обертывания его в html тэг, чтобы можно сделать парсинг текста с помощью js?
Подразумевается, что тексты большого объема.
Подразумевается, что терминам будут присвоены js переменные или объекты для дальнейшей работы с базой данных.

Answer 1

[larionov_n]

Понимаю что мой ответ не будет решением, но мне кажется что вы фантастику какую-то просите. Как минимум тут уже требуется полнотекстовый поиск, а для его работы с большими данными подойдет только Sphinx. Причем что нагрузить хотите клиент, у которого может быть 2GB памяти или 16GB. Сложность алгоритмов решающие вашу задачу высокая в любом случае. Да и реально выделять такие слова можно только через Machine Learning с огромным слоем математики. Все остальное это довольствие правильным синтаксическим деревом.

Есть много алгоритмов, алгоритмы - не самая популярная вещь для реализации на JS. Да и подобную задачу я бы решал иначе, получил текст, отправил на сервер, разобрал, построил синтаксическое дерево, прошел по нему, применил свои крутые алгоритмы. Получил данные, преобразовал их в другой более подходящий вид для задачи и еще рак прогнал алгоритмы, сделал нужные структуры данных, построил для доступа индексы, разработал схему работы всего вместе. В итоге сделал, что хотел но только не на клиенте, а на сервере... Клиент использовал бы как передатчик данных, парсер, набор умных шаблонизаторов с мета информацией внутри текста для обертки слов текста дополнительной инфой.

Comments

[ayapergenov]

Теперь я понял, что дело весьма не простое.
А что если пойти путем обертывания каждого термина в тэг? Например так
Существительное
Глагол
В данном случае можно делать простую выборку с помощью jquery по классу и манипулировать посредством css свойств. А id использовать для создания js переменных и объектов.
Данный способ мне подходит, потому что мне нужно сделать не любой текст, а только определенный.
Понимаю, что надо будет подготовить его предварительно, но это не так сложно вставить тэги в пробелы с помощью поиска. Что скажете?
Получается здесь уже не так важно, какой js фреймворк использовать. Я их не так хорошо знаю. Но может вы посоветуете, что-то конкретное?
На мой взгляд Angular не плохо бы справился с этой задачей. Плюс у него много средств для построения одностраничных приложений. Или лучше другой подойдет?

Или может существует какой-то принципиально другой путь?

[larionov_n]

ayapergenov: Ангуляр ( Это Two Way Databinding) - У вас в модельке будет свойство, если сделаете model.prop.update(val) - оно перерисуется. Чтобы вставить тег, нужно будет сделать свой шаблон. А проще всего использовать data атрибуты у html. Для хранения тегов можно использовать span tag-data="verbal" tag-value="прыгать" .class = "tag_verbal__red". Впринципе подойдет, но у него много лишнего. Можно с такой-же целью использовать Knockout. Но опять же это просто MVC - где данные - модели, есть контроллер и вьюшка с шаблоном для представления.

По мне проще что-то изначально сделать с данными, допустим завести таблицы глаголы, существительные, суффиксы. Как-то на сервере организовать логику, чтобы просто SQL запрос мог вам выдать через поиск, что это предположим глагол. А на клиент вы вернете все данные, которые можете спокойно преобразовать в нужный шаблон. Обратная схема - на клиенте выставляете дата атрибуты, допустим чуть-чуть визуальный редактор переписать, чтобы он подставлял - это слово глагол, это слово существительное, это вообще суффикс. Таким образом когда вы будете сохранять текст на клиенте, он преобразуется через фреймворк в нужные модели. И будет проще работать с массивом объектов, в которых уже есть указание к какой части речи принадлежит объект и меньше уходить будете в дебри.

[larionov_n]

Выборки можно будет делать с помощью jquery + regexp. Если действительно с помощью визуального редактора дописать логику. Допустим вводите текст, выделили слово. Открылось меню, пометили что это глагол. Он взял и создал модельку слова, создал отношение модельки к конкретному свойству (глагол, прилагательное, наречие). Записал это в атрибуты, потом перед запросом на сервере вы собираете массив объектов (слов из текста) и шлете его. Таким образом будут обновляться слова в таблицах нужные вам. Ну тут надо понимать что в конечном итоге вам нужно. Если формировать самому данные таким образом - задача уже проще.

Answer 2

[Rsa97]

С такими вещами и человек не всегда справляется. Попробуйте разобрать предложение:
Косил косой косой косой.

Comments

[ayapergenov]

Согласен. Но хочу все же попытаться. Не могу отметить ваш ответ как решение.

[Rsa97]

ayapergenov: Попробуйте, но основная проблема синтаксического разбора предложения - морфологический анализ слов. Одна и та же словоформа может соответствовать нескольким основам (например, "косой" - существительное или прилагательное, "рой" - существительное или глагол повелительного наклонения). Для этого анализаторы используют базу данных, в которой собраны возможные варианты основ для словоформ, и набор формальных правил, определяющих допустимые связи основ в предложении. Если эти правила можно формализовать в рамках языка программирования, то базу данных всё равно придётся держать рядом, что на JS делать не очень удобно.