NLP модель русского языка?

Question

[Евгений Шустрый]

Всем привет, я совсем ничего не понимаю в машинном обучении , поэтому объясню, что мне требуется и буду надеяться что вы мне поможете, думаю моя задача весьма банальна и простая для ML инженера .
В общем мне необходима обучить AI анализировать текст на предмет того, когда будет какое-то событие , например:
"собеседование в четверг 15.20, "сходить до врача в следующую субботу", "позвонить мастеру в 12.00", - то есть сегодня, "созвон 30.01.2023 в 13.40" и так далее
Может быть уже есть обученные модели, которые умеют анализировать русский язык для такого рода задач либо подскажите пожалуйста, где можно найти датасеты, чтобы можно было обучить модель ?

P.S. так как я сам джавист, смотрю в сторону этих библиотек https://github.com/apache/opennlp , https://github.com/deepjavalibrary/djl .

Comments

[mayton2019]

Постановка... какая-то расплывчатая. Попробуй в виде кейсов описать. Вот модель твоя уже обучена и на вход пришел текст:
Input
"сходить до врача в следующую субботу"

Вопрос. Что у тебя должно быть на output?

[Евгений Шустрый]

идеально это дата "следующей субботы" , то есть 14.01.2023 либо же что-то вроде этого

{
"date": "14.01.2023",
"event": "сходить до врача"
}

,
а в случае
"сходить до врача в следующую субботу в 13.45" ->

{
"date": "14.01.2023 13.45" - формат не столь важен,
"event": "сходить до врача"
}

но я не уверен, что возможно привязать NLP задачу к календарю
но в минимальном виде на выходе хочется видеть событие и дату этого события, в любом виде

[d'Ivan]

mayton2019,
я так понял, должно быть 2 колонки:
время/день, текст события

Евгений Шустрый поправь, если не прав.

[Евгений Шустрый]

Román Mirilaczvili, минутой выше кинул пример :)

[mayton2019]

Евгений Шустрый, я вообще не вижу зачем тебе здесь NLP.

У тебя есть текстовые месседжи для календаря. Их можно разбирать классической логикой парсеров и извлекать дату и время. А остальное - камменты. И это решение будет детерминированным и покроет 99% кейсов что ты сможешь придумать.

[Евгений Шустрый]

mayton2019, возможно ты и прав, я прежде не работал с анализом текста, поэтому впервую очередь подумал про NLP .

[mayton2019]

Евгений Шустрый, а ты смотрел юз-кейсы использования этой библиотеки? Может после их промотра ты скажешь - ну нафиг...

[Евгений Лернер]

Я сам искал и не нашел. Что-то похожее использует Яндекс в поиске. Делают смысловой вектор текста

Answer 1

[Dimonchik]

ответ от фонаря ибо хз

смотри на Сбер
https://sbercloud.ru/ru/datahub/rugpt3family/demo-...

и на томита парсер (в нынешних реалиях устарел наверно но под мелкое подойдет)
https://habr.com/ru/post/547472/

Comments

[Евгений Шустрый]

Спасибо, посмотрю какие модели предлагает сбер

[d'Ivan]

Думаю, хватит и Томита парсера Яндекса.