Как разделить текст на предложения на Python?

Question

[Иван]

В Питоне я полный новичок, поэтому прошу помочь и не ругаться.

На входе имеется файл с текстом в котором могут быть абзацы, переносы строк, несколько пробелов, троеточие, и собственно предложения текста.

Как бы мне грамотно поделить текст на предложения и получить их в массив?

Прошу не ругаться а дать пример кода, который работает, примеры которые я нагуглил работают некорректно, оставляя в некоторых элементах массива по 2-3 предложения вместо одного.

Текст я для примера взял вот отсюда royallib.com/get/txt/bianki_vitaliy/rasskazi_i_ska...

Comments

[Андрей Мывреник]

Кинь ссылки на примеры, которые не работают для тебя. На ум приходит сделать банальный "split" текста по точке и затем "trim" чтобы избавиться от лишних пробелов.

[Иван]

gim0: я кинул ссылку выше - я пробую разделить на предложения текст книги

Предложения могут заканчиваться троеточием, восклицательным и вопросительным знаком а не только точкой

[Иван]

Вот пример текста который тестировался:

Открылась тяжёлая дверь, и перед глазами изумлённого мальчика предстал удивительный мир.

Прямо перед ним два бурых медвежонка схватились в обнимку. Их старший братишка-нянька не спускал глаз с озорников, а медведица-мать развалилась на пригорке и дремлет.

А там, немножко дальше, два тигра — один на скале, другой внизу — оскалили зубы, — сейчас кинутся друг на друга… Мальчик, крадучись, прошёл мимо них. В страхе оглянулся. А вдруг кинутся? Нет, не кидаются, — так и остались…

Вот высоко в воздухе застыл без движения орёл. Вот взлетевшая утка замерла над гнездом; в гнезде — яйца. Мальчик быстро протянул руку за ними — и пальцы больно ударились о что-то крепкое, холодное…

Стекло. Все звери и птицы за стеклом!

Неужели они не живые? Тогда, наверно, они заколдованы, как в сказке. Узнать бы такое волшебное слово, чтобы разом всех оживить. Кто научит его этому слову?

Мальчик попал в Зоологический музей Академии наук. Здесь работал его отец — русский учёный-естествоиспытатель. В доме напротив родился в 1894 году мальчик — будущий писатель Виталий Валентинович Бианки.

С природой его познакомил отец. Он брал сына с собой на охоту и на прогулки. Называл ему каждую травку, каждую птицу и зверюшку. Научил его узнавать птиц по полёту, зверя — по следу и — самое главное — научил сына записывать свои наблюдения.

К двадцати семи годам жизни у Виталия Валентиновича Бианки накопились целые тома дневников. И опять, как в детстве, ему захотелось найти то волшебное слово, которое заставило бы ожить всех этих птиц и зверей.

Таким словом и стало художественное слово рассказчика-писателя.

Первая В. В. Бианки для детей — «Лесные домишки» — вышла в 1923 году. За двадцать пять лет своей литературной работы Бианки написал около двухсот сказок, рассказов, повестей. Юным читателям хорошо известны его сборники: «Сказки», «Лесная газета», «По следам», «Где раки зимуют», «Рассказы об охоте», «Последний выстрел» и многие другие.

На двадцати восьми языках народов нашей Родины издавались его произведения. На многие иностранные языки переведены его книги.

Прекрасно зная и горячо любя родную природу, большую часть своей жизни Бианки проводит в лесу с ружьём, биноклем, записной книжкой. И его рассказы, сказки, повести раскрывают перед юными читателями картины живой природы. В самом обыкновенном он умеет показать новое, незамеченное нами.

Бианки ведёт юного читателя по охотничьим тропам Алтая, поднимается с ним без дорог по горам Кавказа, бродит по тайге, тундре, степи…

Но больше всего Бианки любит рассказывать о тех животных и растениях, которых всякий может встретить у себя в саду, на берегу соседней речки, в лесах и полях северной и среднерусской полосы нашей Родины.

Писатель раскрывает своему юному читателю глаза на окружающий мир, отвечает на его вопросы.

Много загадок природы уже раскрыто нашими учёными. Ещё больше надо изучить, разгадать, понять.

И книги Бианки зовут юного читателя наблюдать, сравнивать, думать, быть хорошим следопытом, исследователем. Бианки не только показывает, — он учит юного читателя раскрывать тайны леса, разгадывать маленькие и большие загадки из жизни зверей и птиц.

Ведь только тот, кто хорошо знает природу, может ею управлять, обращая её богатства на пользу Родине.

Советский человек — хозяин своих лесов, полей, рек, озёр и он должен хорошо знать своё хозяйство.

Юный читатель многое узнает, прочитав рассказы и сказки Бианки. Он научится наблюдать, он станет бережливым хозяином богатств родной природы, он полюбит её.

Художественное слово писателя поможет ему в этом.

[Андрей Мывреник]

Иван Сараев: Во-первых, я про следующее: "примеры которые я нагуглил работают некорректно". Во-вторых, то, что предложения могут заканчиваться не только точкой, не меняет ничего.

Answer 1

[Андрей Мывреник]

import re

text = '''
Первое предложение.

Второе предложение!

Третье предложение?

Четвёртое предложение...

Пятое предложение.

Ещё одно предложение…
'''

split_regex = re.compile(r'[.|!|?|…]')
sentences = filter(lambda t: t, [t.strip() for t in split_regex.split(text)])
for s in sentences:
    print(s)

Вывод:

Первое предложение
Второе предложение
Третье предложение
Четвёртое предложение
Пятое предложение
Ещё одно предложение

Comments

[Александр Титов]

Пробл. в том, что точка (как правильно отметил В.И. Ленин) часто не явл. разделителем предложения. И (иногда!) восклицательный знак тоже.
Обязательно надо проверять регистр буквы после точки. А также длинный список не опредляющих предложение слов перед точкой, инициалы (не обязательно однобуквенные - Дж. Вашингтон), типичные сокращения - г. Москва.

[Андрей Мывреник]

Александр Титов: Я с тобой согласен. Я лишь дал автору вопроса быстрый базовый вариант, который он уже сам может дополнить и сделать умнее.

[longclaps]

Хех:
sentences = filter(None, map(str.strip, split_regex.split(text)))

[Андрей Мывреник]

longclaps: list comprehensions считаются более каноничными в питоне нежели map, однако

[longclaps]

gim0: Радеете за каноничность - избавьтесь от lambda )))

Answer 2

[Дмитрий]

nltk.org

Answer 3

[Александр]

Тут важно более или менее точно знать используемые разделители.
Первое, что можно попробовать - модуль 're' и его функцию split (позволяет указать множество разделителей в отличие от встроенной):

import re
prop = 'Ехал Грека. Через реку. Видит Грека - в реке рак... Сунул Грека руку в реку. Рак за руку. Греку. Цап'
re.split("\. |\.\.\. ", prop)
['Ехал Грека', 'Через реку', 'Видит Грека - в реке рак', 'Сунул Грека руку в реку', 'Рак за руку', 'Греку', 'Цап']

Answer 4

[longclaps]

В предложеных вариантах пропадают знаки препинания на концах предложений.
Это неправильно, нужно так (python3):

import re

with open("блаблабла.txt", "rb") as f:
    s = re.sub(r'\s+', ' ', f.read().decode('WINDOWS-1251'), flags=re.M)
for s in re.split(r'(?<=[.!?…]) ', s):
    print(s)

Comments

[sudo rm -rf /]

Зачем "rb" в open?