Анализ текста на Python?

Question

[rahamaja]

Всем привет! Нужно написать программу которая будет в текстовом файле искать конец предложений и выводить каждое из них (предложение) с новой строки, есть какие-нибудь интересные предложения как можно это реализовать? С помощью каких-нибудь библиотек или ещё чего-то...

Comments

[xmoonlight]

Вам всё уже ответили.

Answer 1

[sim3x]

Очень легко
Изучите питон
Изучите циклы и встроенные функции - вам их хватит с головой

Comments

[iddqda]

чтоб матчить предложения встроенных функций недостаточно
придется использовать модуль re и накостылить регексп (или нагуглить) определяющий предложение
но в любом случае это несколько строк всего

[Ivan Yakushenko]

iddqda, давай начнем с того, что re - это встроенная в питон библиотека, а закончим тем, что можно обойтись и без неё: реплейс + сплит и на выходе список из предложений, итерируй как хочешь.

[iddqda]

сплит/реплейс это халтура
предложение может заканчиваться разными знаками.
точка в предложении может использоваться в разделении десятичных знаков и инициалах.
если такое и можно наколхозить сплитами то это точно не бестпрактис будет.

И все же пользоваться re без import re не получится. Поэтому встроенность вопрос спорный.
Но при этом особого смысла спорить нет. Только от безделья если.

[Ivan Yakushenko]

iddqda,

И все же пользоваться re без import re не получится. Поэтому встроенность вопрос спорный.

в питоне почти весь функционал выкинут в библиотеки, что-бы при работе скрипта не грузить в озу не используемый функционал, но при этом это все еще встроенные функции.

предложение может заканчиваться разными знаками.

а что, реплейс и сплит могут только с каким-то одним определенным знаком работать?

точка в предложении может использоваться в разделении десятичных знаков и инициалах.

для базовых однотипных предложений хватит и нескольких строк кода, все остальное - просто подкидывать проверки и отрабатывать на объемных текстах, пока результат не будет удовлетворительным.

если такое и можно наколхозить сплитами то это точно не бестпрактис будет.

да, проверки в цикле - это не бестпрактис, зато многострочные регулярки - это самое оно.

[sim3x]

iddqda,

предложение может заканчиваться разными знаками.

тут явно обучающая задача и заканчиваться предложение будет только точкой

сплит/реплейс это халтура

нет

[iddqda]

sim3x, не согласен. для тренировки на split задача была бы не про предложения, а про слова в тексте, а здесь ИМХО подразумеваются regexp-ы типа '.+?[.!?]'

[Ivan Yakushenko]

iddqda,

не согласен

с чем?

подразумеваются regexp-ы типа '.+?[.!?]'

в цикле можно перебирать весь текст хоть посимвольно и добавлять столько проверок, сколько нужно. даже после того как ты напишешь многострочный регекс, ты можешь после очередного тестового прогона нарваться на исключение, которое положит весь регекс и потом разгребай эту кашу, а в цикл можно пихать сколько угодно проверок.

split задача была бы не про предложения, а про слова в тексте

хоть одно адекватное обоснование будет недееспособности реплейсов и сплитов в контексте данной задачи?

[Ivan Yakushenko]

iddqda, так зачем ты вообще тогда что-то пишешь, если не можешь обосновать свои слова? ты начал нести бред про "встроенных функций не хватит" говоря об регексах и "сплит/реплейс халтура" ни сказав ни единого слова почему, за язык тебя никто не тянул.

[iddqda]

потому что я пишу не тебе (ты беспорно все лучше всех знаешь), а ТС, который очевидно в самом начале пути и выполняет тестовые задачи по своему курсу. И гораздо более вероятно, что задачи на вделение фрагментов предложений относятся к теме рекгекспов чем к сплитам. А предложенный тобой вариант спагети-кода вообще при обучении использоваться не должен. Учить надо сразу хорошим практикам, а плохому потом сам научится.
И последний твой комментарий выглядит на мой взгляд агрессивно и глупо. Бреда в моих словах не больше чем в твоих. И человеку назначенному на роль куратора так себя вести не стоит.

[sim3x]

iddqda,
Зачем гадать?
Зачем нарушать KISS?

[Ivan Yakushenko]

iddqda,
1. Циклы, реплейс/сплит, условия - это все относится к базе программирования, это нужно знать, это нужно понимать, это нужно практиковать.
2. Цикл + реплейс/сплит выглядит просто и очевидно, регулярки не выглядят просто и очевидно. В контексте того, что автор начинает изучать программирование, ему нужно осваивать базу а не лезть куда-то туда.
3. Вариант, предложенный в ответе (сплиты, реплейсы, циклы) можно легко и очевидно "масштабировать" и тюнить вводом дополнительных ветвлений и условий. Регулярки вообще не разу не удобно масштабировать, особенно если была допущена ошибка в самой структуре регулярки, а она будет допущена в большинстве решений, когда речь идет о хоть сколько-то более менее крупном задании.
4. Учить нужно не практикам, а программированию. Советовать использовать шаблонные решения, вместо того, что-бы подумать и вручную разбить строку по нужному шаблону - это как минимум очень странно.

Ты уже кучу раз написал про неприменимость сплит/реплейсов в контексте данного задания, хоть аргумент будет?
Я веду себя сугубо в рамках правил данного ресурса, в отличии от тебя. В моем тексте нет ни капли агрессии, просто мне интересна почва твоего негодования в адрес использования сплит/реплейсов, пока что я вижу только порцию за порцией несуразной чепухи, так что не тебе говорить о бреде.

[iddqda]

Ivan Yakushenko, давай начнем с конца. как бы про негодование сначала, а потом снизим градус.

В моем тексте нет ни капли агрессии, просто мне интересна почва твоего негодования в адрес использования сплит/реплейсов, пока что я вижу только порцию за порцией несуразной чепухи, так что не тебе говорить о бреде

сначала ты назвал мои слова бредом, теперь чепухой. заметь, не я твои слова назвал бредом, а ты мои, и теперь ты заявляешь: "так что не тебе говорить о бреде". Но о нем говорил только ты. Правда теперь еще добавил чепуху. Чепуха звучит уже мягче, менее агрессивно. Молодец, исправляешься.
Кстати где ты увидел мое негодование? Я же просто назвал халтурой вариант с сплитами. Не твой конкретный вариант, я ж его не видел. Я можно сказать свой, гипотетический, вариант так называю. Ну т.е. мозг так работает. Мысленный эксперимент если хочешь. Я просто представил два гипотетических сценария как будто эту задачу нужно решить мне самому. Один вариант с регекспами, а другой с сплитами. Потом мысленно провел код-ревью и выбрал лучший. Проведи такой эксперимент. Причем не обязательно мысленный. Давай напишем решение задачи я регэспами, а ты лапшой и отдадим на ревью, например, sim3x.

Текст для задания пусть будет такой:

This book is a treatise on the theory of ethics, very popular during the Renaissance. The first line of Lorem Ipsum, "Lorem ipsum dolor sit amet..", comes from a line in section 1.10.32.

The standard chunk of Lorem Ipsum used since the 1500s is reproduced below for those interested. Sections 1.10.32 and 1.10.33 from "de Finibus Bonorum et Malorum" by Cicero are also reproduced in their exact original form, accompanied by English versions from the 1914 translation by H. Rackham.

и вот мое решение:

In [18]: text = """This book is a treatise on the theory of ethics, very popular during the Renaissance. The first line of Lorem Ipsum, "Lorem ipsum dolor sit amet..",
    ...:  comes from a line in section 1.10.32. 
    ...:  
    ...: The standard chunk of Lorem Ipsum used since the 1500s is reproduced below for those interested. Sections 1.10.32 and 1.10.33 from "de Finibus Bonorum et Malo
    ...: rum" by Cicero are also reproduced in their exact original form, accompanied by English versions from the 1914 translation by H. Rackham. 
    ...: """                                                                                                                                                           

In [19]: import re                                                                                                                                                     

In [20]: pattern = r"(.*?)(?<=[.?!])\s+((?=[A-Z]\w+\s)|$)"                                                                                                             

In [21]: for sentence in re.findall(pattern, text):  
    ...:     print (sentence[0]) 
    ...:                                                                                                                                                               
This book is a treatise on the theory of ethics, very popular during the Renaissance.
The first line of Lorem Ipsum, "Lorem ipsum dolor sit amet..", comes from a line in section 1.10.32.
The standard chunk of Lorem Ipsum used since the 1500s is reproduced below for those interested.
Sections 1.10.32 and 1.10.33 from "de Finibus Bonorum et Malorum" by Cicero are also reproduced in their exact original form, accompanied by English versions from the 1914 translation by H. Rackham.

Признаюсь, мне пришлось потрудиться чтоб регекп нужный сочинить. Причем я считаю этот процесс вполне себе относится к программированию, что входит в противоречие с твоим 4-м аргументом. Но ты не печалься. Да я не согласен с тобой. И сдругими пунктами не согласен. Что тут такого? У меня отличная от твоей парадигма. Имею право. Я считаю что регекспы придумали умнейшие математики 60+ лет назад и много чего еще придумали другие математики и инженеры с тех пор: криптоалгоритмы, архиваторы, кодеки итп. Прямо сейчас куча мудрых дядек (и тетек) придумывают разные прикольные штуки для многопоточности и асинхронности. И для всего этого нет смысла строить собственный велосипед. Получится хреново и быстро сломается. Я это все к чему - использовать для решения своих задач готовые, специально под это созданные библиотеки - это и есть современное программирование.

впрочем можешь называть это бредом и чушью, но это совсем не так интересно как код который ты на сплитах под задачу напишешь. Удачи.
и эта ... код на регэспах отлично масштабируется: if match(pattern1) or match(pattern2) ...

[Ivan Yakushenko]

iddqda, ты вообще не читаешь, что я пишу, да? Прекращай фантазировать и попытайся в буквы:

чтоб матчить предложения встроенных функций недостаточно

Достаточно.

придется использовать модуль re

Это и есть встроенная функция. Но даже так можно обойтись без неё.

ты начал нести бред про "встроенных функций не хватит" говоря об регексах и "сплит/реплейс халтура"

Да, все так и есть. Говоришь об регексах в контексте того, что встроенных функций не достаточно и все еще не привел ни одного аргумента почему сплит/реплейс - это халтура.

Заметь, никто и слова не написал, что сплит/реплейс - это бест практикс, а регексы - глупость.
Весь контекст моей и, по всей видимости sim3x позиции в одном предложении, написанном изначально:

Изучите циклы и встроенные функции - вам их хватит с головой

Достаточно ли их для решения данной задачи? Безусловно.

Да я не согласен с тобой. И сдругими пунктами не согласен. Что тут такого? У меня отличная от твоей парадигма.

Проблема не в несогласии, а в том, что ты в буквы не можешь, но пишешь. Попытайся еще раз прочитать написанные тебе сообщения и понять какой смысл в них вложен.

[iddqda]

Вань, спокойней
т.е. в итоге ты признаешь что регекспы для этой задачи подходят лучше.
и весь спор только о том являются ли функции, которые идут в некоторых модулях встроенными?
тебе не кажется что предмет спора не стоит нашего времени?
ТС-у мы судя по всему не помогли (списал наверно уже у кого нибудь) и наш спор тоже никому не поможет из-за беспредметности. давай заканчивать.

[sim3x]

iddqda,
Вы придумали себе задачу и пытаетесь убедить всех, что ваша задача - та задача которую решает ТС и та задача, которую подразумевал я

Не надо так

[Ivan Yakushenko]

iddqda,

т.е. в итоге ты признаешь что регекспы для этой задачи подходят лучше.

Серьезно, прекращай полет фантазий, выдумал вообще непонятно что. Где я писал обратное?
Ты изначально написал что "встроенных функций недостаточно", что само собой является бредом и продолжаешь гнуть линию "нет, сплит/реплейс халтура, а вот регексы...".
Естественно для той задачи, которую ты привел в пример регулярки лучше, а знаешь что еще лучше? NLTK.

При всем при этом есть достаточное кол-во аргументов в пользу того, что сплит/реплейс - это вполне нормальный выбор. Ты, в свою очередь, не можешь ни слова сказать почему сплит/реплейс - это халтура.

[iddqda]

sim3x, чувак, KISS ты применяешь не туда
нельзя так задачи упрощать. есть условие:

Нужно написать программу которая будет в текстовом файле искать конец предложений

ты предложил сделать split('.')
это просто неправильное решение. совсем неправильное. на двойку.

Ivan Yakushenko, че то ты какой то дерзкий. и читать я по твоему не умею и фантазирую и бред несу и чушь. но в итоге ты согласен с моим решением. Какой то когнитивный диссонанс, не находишь?
а главное почему ты с самого начала в меня вцепился и продолжаешь разжигать? кому это надо?
насчет

не можешь ни слова сказать почему сплит/реплейс - это халтура

я все написал выше. И там целых 63 слова. Еще раз поцитирую:

Я же просто назвал халтурой вариант с сплитами. Не твой конкретный вариант, я ж его не видел. Я можно сказать свой, гипотетический, вариант так называю. Ну т.е. мозг так работает. Мысленный эксперимент если хочешь. Я просто представил два гипотетических сценария как будто эту задачу нужно решить мне самому. Один вариант с регекспами, а другой с сплитами. Потом мысленно провел код-ревью и выбрал лучший

Так кто из нас не умеет в буквы?

[sim3x]

iddqda,

чувак, KISS ты применяешь не туда

0. Чувак?
1. "Вы"
2. Туда

[iddqda]

sim3x, Ну я тут тоже не пил ни с кем на брудершафт, но тут же понеслось на ты (я кстати не против), бред, чушь, не умею, должен итп. Ну я недавно на тостере. Подумал тут такое общество хипстерское с либеральными правилами поведениями и тут так заведено.
короче, извиниТЕ меня
Я совсем не троль и не пытаюсь и не пытался никого обидеть.
А тут, надо признать, весело. Спасибо вам за это.

[sim3x]

iddqda,
cat < О происхождении слова «чувак» нет единого мнения.

Слово чувиха, засвидетельствованное ещё в начале XX века в воровском жаргоне в значении «проститутка», было в 1931 году рассмотрено А. П. Баранниковым, проанализировавшим его как производное от цыганского слова чаво — «парень», то есть «подруга вора»[1][3].
EOF

Хипстер != вор

либеральными правилами поведениями

О нет
https://toster.ru/help/rules

[Ivan Yakushenko]

iddqda, ладно, давай остановим твой полет фантазий: есть вопрос общего смысла, не имеющий контекста и без примеров, соответственно дать конкретный ответ с решением невозможно, т.ч. был дан соответствующий ответ - общего смысла, на все 100% правильный. Ты дал конкретное решение на конкретное задание, а точнее твое собственное видение конкретного задания. Не нужно так делать, это совет из категории вредных.
Более того, если ТС только начинает изучать программирование, то ему гораздо проще и полезнее будет пробежаться по тексту циклом и засплитить его по соответствиям. Не нужно лезть в регулярки человеку, который в базовые возможности не может и не знает им применения. Должен же быть хоть немного последовательный подход, ну.

но в итоге ты согласен с моим решением. Какой то когнитивный диссонанс, не находишь?

Почему я должен быть не согласен с тем, что регулярные выражения - это нормальное решение? Я неоднократно указывал на то с чем я не согласен, регулярных выражений в том числе нет и почему ты считаешь обратное известно только тебе. Вот прям без шуток - прекращай видеть то, чего нет.

Т.е. изначально по вот этой вот фразе:

сплит/реплейс это халтура

Я должен был понять, что ты у себя в голове придумал задачу, решил её двумя разными способами, один из которых посчитал нормальным, а другой - халтурой? Если так, то больше вопросов к тебе нет =)

Answer 2

[Вячеслав]

Я обычно такие вещи делаю в текстовом редакторе через "Найти и заменить", предложения должны заканчиваться точкой(а по правильному так вообще точкой с пробелом), так вот, нахожу точки и меняю на символ точки с символом конца строки "\n". Но если Вам принципиально через скрипт, то первое что приходит в голову это открыть файл с помощью функции "open" и метода "readline"(в одну строку), с помощью метода "split" разбить эту строку на список строк(разделитель точка или точка с пробелом), затем прогнать этот список через цикл с удалением ненужных пробелов и добавлением в конец строки символа конца строки "\n" и созданием нового списка строк(метод "append"), а затем этот новый список построчно записать в новый текстовый файл(или вывести на экран). Как видите через текстовый редактор намного проще. ))