Как разбить текст на предложения?

Question

[Andrey Kobyshev]

Есть сплошной поток текста, полученный на выходе системы распознавания речи.

Нужно этот сплошной поток текста автоматически преобразовать в более-менее читаемый вид - с правильной пунктуацией и разделением на предложения, абзацы. Для простоты пока положим, что это нужно только для русского или английского языка.

Какие существуют алгоритмы, подходы, библиотеки, наработки, литература, где подобная задача или её части уже решены?

Answer 1

[Дмитрий]

в таком виде задачка скорее всего решается нейросетями после долгого обучения
но имхо грубо разметить если есть сопоставление звука и текста можно по паузам

Comments

[d'Ivan]

Почему именно нейросетями?

[Дмитрий]

потому что естественный язык практически невозможно однозначно разобрать правилами
только вероятностно что как раз сильная сторона нейросетей

[Andrey Kobyshev]

Дмитрий, спасибо за ответ! Можете указать на какую-нибудь уже существующую реализацию?

[Дмитрий]

открытых не знаю, а закрытые есть у всех создателей голосовых помощников
типа сири кортаны и прочих ок гуглов.
впрочем тема нейросетей в интернете освещена довольно подробно
а архивы библиотек типа флибусты обеспечат огромным массивом для обучения

[d'Ivan]

Дмитрий, а определять правила кто будет?

[Дмитрий]

так в том и смысл что это не нужно
обучаешь на двух потоках со знаками и без
и потом будешь знать вероятность появления знаков в каждом месте текста

[Andrey Kobyshev]

Спасибо за идею! Да, обучить на флибусте (да и любом тексте, на самом деле) - это может сработать. Сначала учим на достаточно большом наборе "обфусцированный текст" => исходный текст, а потом по "обфусцированному" тексту обученный ИИ будет восстанавливать пунктуацию. Пожалуй, тут даже лучше не флибуста подойдёт, а расшифровки стенограмм, где речь менее литературно обработана.

Какие курсы/материалы по машинному обучению вы могли бы посоветовать для новичка со слабым математическим аппаратом, но большим опытом в разработке ПО?

[d'Ivan]

yokotoka, всё же я бы не стал уповать на магию нейросетей, а предложил бы углубиться в лингвистику. Потому как нейросети - это один из способов классификации. Полностью всё за человека сделать не смогут (без учителя).

Answer 2

[d'Ivan]

Я думаю, что программа должна уметь:

1. определять небольшие паузы в речи для возможности разделения речи на предложения
   
2. понимать части речи
   
3. определять какие части речи сочетаются с другими, чтобы не разбивать там где не нужно
   
4. определять вопросительные предложения по интонации
   
5. определять по каким правилам расставляются знаки препинания
   

А об абзацах можно лишь мечтать. Вот почему: Как делать разбивку текста на абзацы?

Answer 3

[#]

прогресс ИТ в этой области растет, и довольно быстро, особенно последнее время

но запрошенная вами планка, все еще достаточно высока.. по крайней мере для домашнего пользователя

с другой стороны - на сколько я помню - все хорошие системы распознавания (очень-очень крупных вендоров), вообще то и так сносно справляются задачей...

если конечно не наговаривать монотонно большие объемы текстов.. вы ни в каком месте не лукавите?

попробуйте api от MS тут человек делится опытом

Answer 4

[xmoonlight]

В 2 этапа:
1. На основе аудио-потока
2. На основе смысла текста и грамматики

1 Этап:
1. Запятая - прыжки высот тона (снизу вверх или наоборот) без изменения громкости или короткая пауза.
2. Точки или тире - длинная пауза.
3. Вопросительная или восклицательная интонация - резкое повышение громкости с дальнейшей паузой. Распознавание интонации - только обученная НС (здесь без НС - уже не получится).

2-й этап:
1. Выявление нужных частей речи (и их цепочек) и формирование секций предложения: сложно-сочиненные/подчинённые, причастный/деепричастный оборот и т.д.
2. Согласование с правилами языка и исправление ошибок пунктуации.