Как правильно посчитать количество предложений в тексте?

Question

[Петр Смирнов]

Помогите узнать количество предложений, без сокращений с точками

const text = "адрес - ул. Зеленая, д. 3."; //В строчке одно предложение, но с сокращениями будет подсчитано как 3
const re = /[.!?]/;
const numOfSentences = text.split(re);
console.log(numOfSentences.length - 1);

Comments

[Aetae]

Полноценно - никак.
Можно забить исключениями "все" возможные сокращения, а также исключить случаи когда после знаков препинания не идут заглавные буквы(или тире, или кавычки, или...), но сокращения могут попадаться абсолютно любые и потому задача в общем случае - не решаема.

[xmoonlight]

Aetae, примеры кидайте, несколько сразу и я попробую регулярку под общий случай сделать.

[Aetae]

xmoonlight, а подумать? Ну вот те пример:

...спустился с гор. Сочи для меня...
...в гор. Сочи многое...

Это чтоб сразу ясно.
А в целом - в рус. яз. можн. сокр. люб. слов.

[xmoonlight]

Aetae, Есть правила сокращения для населённых пунктов: "в г.Сочи", а не "в гор. Сочи".
Если написано с ошибкой, то неразрывен предлог " в" (с пробелом впереди), одно любое сокращение и имя собственное.
так: /\sв\s+?\w\.\s+?[А-Я]+/

[Aetae]

...с гор. Сочи многое неоднозначно...
xmoonlight, ты не очень умный, да?

[xmoonlight]

Aetae, как убирать такие неоднозначности - я точно знаю, но лучше промолчу.

[Aetae]

xmoonlight, meh, вы всегда так сливаетесь. А меж тем ваши великие тайные знания нужны автору вопроса, а не мне.

Без ИИ универсальное решение невозможно. Некоторые случаи и человек не с первого раза разберёт. Всё что можно реально сделать - наворотить постоянно дополняемую на ходу кучу регулярок, покрывающую большинство кейсов. Но и близко не все.
Ещё можно заняться серьёзным синтаксическим анализатором, что займёт вечность, при не сильно лучшем результате.

[xmoonlight]

Aetae, Можно сделать однозначно для любого случая и дело не в регулярках или ИИ.
Дело - в подходе к валидации контента.
НО!

ты не очень умный, да?

[Aetae]

xmoonlight, Нельзя сделать однозначно для любого случая и дело не в регулярках или ИИ.
Дело в произвольном контенте.
Но, ты не очень умный, да.

[xmoonlight]

Aetae, Что-нить про типизацию и валидацию токенов в потоке данных - слышал/читал?

[Aetae]

xmoonlight,
Я с гор. Сочи многое пережил.

Человеческий язык слишком неоднозначен. Проблема какбэ сводится к тому, чтобы заставить компьютер его понимать. Древний и фундаментальный вопрос, до сих пор не имеющий решения. Причина появления, собственно, языков программирования.
Так что не важен способ реализации.

[xmoonlight]

Aetae, Я понял. что "ты с гор", и что некий "Сочи" - "многое пережил".
А теперь ошибки для фразы "Я с гор. Сочи многое пережил.":

Я с гор. Сочи многое пережил. => Я - с гор. Сочи многое пережил. (1)
Сочи многое пережил. => Трактовка: Сочи - точно существительное, без контекста - это популярное имя собственное. Значит имя/название чего-либо.
Я - с гор. Сочи многое пережил. => Я - с гор. Сочи, многое пережил. (2)
Я - с гор. Сочи, многое пережил. => Я - с г.Сочи, многое пережил. (2)

Итог: Вар. 2 - выиграл.
Конечная фраза: "Я - с г.Сочи, многое пережил."

[Aetae]

xmoonlight, т.е. по твоему один из вариантов интерпретации чем-то не соответствует правилам русского языка? Ну-ка?

[xmoonlight]

Aetae, вот, дописал)))

[Aetae]

xmoonlight, ок, тире. А так: Подъём в горы. Спуск с гор. Сочи многое пережил.

[xmoonlight]

Aetae,

Подъём в горы. Спуск с гор. Сочи многое пережил.

Сочи - это город, т.к. нет упоминания Сочи ранее (всего 1 раз упоминание).
Всего - 3 предложения, потому, как "с горы Сочи" или "с города Сочи" - это маловероятно.

[Aetae]

xmoonlight, и как ты эту маловероятность выразишь в коде? А если автор имел ввиду именно второе? Это ведь пример придуманный на коленке, в реальности существует ещё бесконечность вариантов неоднозначных сочетаний.

В любом случае вступление на поле вероятностей - уже, строго говоря, проигрыш классического детерминизма).
С тем же успехом можно тогда уж нейронку обучить.

[xmoonlight]

Aetae,

А если автор имел ввиду именно второе?

сокращение или нет: гора - не сокращают, город - возможно на 50%. "Спуск с города" - крайне маловероятен.
Значит "гор." - это точно НЕ город, а "гора" во множественном числе и в род.падеже.

Ещё впереди речь про "подъём в горы": вес того, что "гор." - это город стал гораздо ниже!
Получаем деление: "Спуск с гор." И "Сочи многое пережил."

Автор - не сможет обмануть! :)

А правила для кодинга - крайне просты: нажал кнопку и ушёл в точку.

[xmoonlight]

Aetae,

В любом случае вступление на поле вероятностей - уже, строго говоря, проигрыш.

Ты - проиграл. Этим всё сказано!

[Aetae]

xmoonlight,
>сокращение или нет: гора - не сокращают,
Сокращают что угодно.
Сокращена одна буква - <1%(но не 0)
>город - возможно на 50%.
>"Спуск с города" - крайне маловероятен.
Не менее 10% - фавелы там, Сан-Франциско какой-нить .
Так или иначе - тут твой анализатор должен знать как слово "спуск" логически сочетается со словом "город", чтоб постановить "крайнюю маловероятность". Очень сомневаюсь в такой разумности твоего софта. (без бессмысленной траты кучи человеколет)

Всё будет упираться в эффективность твоего "анализатора вероятностей", что в свою очередь приводит к отсутствию гарантированного результата. Достоверность никогда не будет равна единице. Да и выше 0.5 то без нейронки - сильно сомневаюсь.

[xmoonlight]

Aetae, спуск/склон/спад/сброс - действие, город - объект. Что здесь непонятно?)

[Aetae]

xmoonlight, и? Чем "спуск с гор" отличается от "спуска с города" или там "спуска с небес"?
А может это не "город Сочи" вовсе, а "горячие Сочи"?

[xmoonlight]

Bavashi, город.
г-н - если господин, гр. - гражданин.

[xmoonlight]

Aetae,

Чем "спуск с гор" отличается от "спуска с города" или там "спуска с небес"?

Даю тебе шанс реабилитироваться и самому ответить на такой простой вопрос.

[Aetae]

xmoonlight, да я понял, что ты снова сливаешься.
Благо сказано тут достаточно, чтоб любой(и ты тоже, как бы там не вилял) понял мою правоту. Так что удаляюсь.

[xmoonlight]

Bavashi,

г-н могут и как гражданин сократить.

Тогда - погружение в контекст и более глубокий анализ.
Крайне редкая невозможность установки точных весов в подобных (одиночных) предложениях вносится в игнор-лист (чтобы в дальнейшем - пропускать сразу).

[xmoonlight]

Bavashi, Про сокращения - отличный список! Да, могут понять по-разному, этот вариант - я выше уже написал: в игнор.

[xmoonlight]

Bavashi, зато есть общий признак: договор. Город вряд ли сможет договориться кем-либо и заключить договор. Значит, что это не город, а фамилия человека.
PS: Хорошо, что ещё компании не пишут, как "к.Название"...

[Aetae]

Bavashi, "В данном договоре г. Москва утверждается наследным владением г.Собянина."
Не говоря уже о том, откуда, перешибить вас всех коромыслом, программный код будет знать кто может там договариваться, а кто нет? Вручную забитые петабайты соотношений? Разве что нейронка, но это отдельная тема.

Answer 1

[xmoonlight]

Критерии перечисления сокращений (вертикальные линии - визуальные ограничители): |- ул.| и |, д.|.