Как найти самые используемые слова в книге посредством питона?

Question

[lilandre2]

Есть книга в TXT формате. Требуется найти частоту используемых слов и сохранить первые 1000 слов в файл. Не могу понять в какую сторону мне копать. Пока изучаю https://courses.edx.org/courses/course-v1:Microsof... .

Answer 1

[Roman K]

from collections import Counter
x = open('Война и мир.txt', encoding='utf8').read()
c = Counter(x.split())  # Сплит нужен, чтобы вышел список слов, иначе посчитаем частотность символов
c.most_common()

Comments

[sim3x]

https://docs.python.org/3/library/collections.html...

[Абдулла Мурсалов]

c.most_common(1000)

[Roman K]

Абдулла Мурсалов: Да хоть 1000000, суть-то ясна.

[Арсений Кравченко]

еще бы в нормальную форму слова привести не повредило (например, при помощи pymorphy2)

[lilandre2]

Извините, я программированием занимаюсь совсем недавно, но вот я ваш код немного модифицировал, и он выдает ошибку.

<source lang="python">
from collections import Counter
x = open('3.txt', encoding='utf8').read()
c = Counter(x.split()) # Сплит нужен, чтобы вышел список слов, иначе посчитаем частотность символов
pipa=c.most_common(1000)
print(pipa)
</source>

Ошибка: python: failed to set __main__.__loader__

[Roman K]

lilandre2: Первую и последнюю строку убери.

[lilandre2]

Благодарю, это крутое решение. Скрипт еще и показывает сколько раз слово повторяется в тексте.

Answer 2

[Сергей Горностаев]

import string
from collections import Counter

punctuation_map = dict((ord(char), None) for char in string.punctuation)
prepositions = ['в', 'без', 'до', 'из', 'к', 'на', 'по', 'о', 'от', 'перед', 'при', 'через', 'с', 'у', 'за', 'над', 'об', 'под', 'про', 'для']

text = open('WarAndPeace_rus.txt').read()
clean_data = text.translate(punctuation_map) #Убираем знаки пунктуации
words = Counter([word.strip().lower() for word in clean_data.split() if word not in prepositions]) #Приводим все слова к нижнему регистру и убираем предлоги

with open('words.txt', 'w') as fh:
    fh.write('\n'.join([w[0] for w in words.most_common(1000)]))

Comments

[lilandre2]

Спасибо. Скрипт работает. Но вот в файл слова сохраняет без пробелов. Очень хорошо что показали как реализовать основные параметры моей задачи.

[Сергей Горностаев]

lilandre2: Исправил ответ. Для спасибо есть кнопка "Принять ответ".

Answer 3

[Владимир Мартьянов]

Копайте в сторону словарей в Питоне, например.

Answer 4

[D']

nlpx.net/archives/29 раздел "Частотный анализ", оно?

Comments

[lilandre2]

Спасибо. Буду и в эту сторону копать.

Answer 5

[Vitaly]

Делаете мапу, где ключ - слово, а значение частота. Каждый раз, когда слово встречается увеличивайте частоту на 1. Потом берете 1000 максимальных частот и выводите ключи в файл. Вот и все.

Comments

[lilandre2]

Спасибо. Я в питоне еще чайник. Буду плыть к разгадке мап и смотреть как их едят.

Answer 6

[crawlander]

На основе этой программы можно допилить https://ru.wikiversity.org/wiki/%D0%9F%D1%80%D0%B8...