Как автоматически посчитать объем текста в текстовых документах?

Question

[Артур Кирпичёв]

Система: MacOS (есть и винда, но хотелось бы найти решение именно под мак)

Сразу к делу:
Имеем папку с текстовыми документами (.txt).
Нужно получить новый текстовый документ в котором будет список заголовков этих текстовых файлов и на против каждого заголовка объем текста (кол-во знаков без пробелов).

Мне почему-то сразу пришла в голову мысль про встроенный автоматизатор процессов Automator. Но я совершенно не умею им пользоваться, даже примерно. Нагуглить что-то подобное не получилось.

Также, в стандартном текстовом редакторе macOS нет возможности посмотреть объем текста, но решается установкой дополнительной "Службы" (название службы: WordService), в ней есть команда WordService:Statistics с горячей клавишей (cmd+shift+I) и открывается окошко с подсчетом знаков у выделенного текста.

Еще возможно будет решением какой-то скрипт, не знаю про них тоже ничего.

Ребята, помогите с этой задачей. Очень нужно. В работе огромное кол-во текстов, и по каждому нужно знать объем знаков. Вручную тоже можно, но ведь гораздо интереснее все автоматизировать.

Answer 1

[Tash1moto]

import os,re,sys
folder = sys.argv[1]
path = os.listdir(folder)
log = open(os.path.join(folder,'log.txt'),'w')
for j in path:
	if "txt" in j:
		words =0
		f=os.path.join(folder,j)
		with open(f) as file:
			for line in file:
				words+=len(re.findall('\w+', line))
		log.write(j+' = '+str(words)+' words'+'\n')
log.close()

сохранить как doc.py, открыть с той папки терминал,
в терминале написать
python doc.py "путь к папке с текстовыми файлами" (например "/home/user/txtfiles")
подождать...
в папке с файлами появится log.txt с записями

Comments

[Артур Кирпичёв]

Создался файл, но пустой. Может дольше ждать надо?

[Tash1moto]

ждать пока скрипт не закончит работу.

[Tash1moto]

файлы в папке какого формата? сколько файлов? примерный размер файла?

[Артур Кирпичёв]

9 файлов по 3-4 кб

[Tash1moto]

скрипт ошибки не выплевывает ?

[Артур Кирпичёв]

нет, но файл пока что пустой

[Артур Кирпичёв]

щас я ему упрощу и подсуну один файл и заново запущу

[Tash1moto]

ну тогда просто в терминале перейдите в папку с файлами и введите команду wc -w *

[Tash1moto]

чтобы записать результат в файл wc -w * > logfile.txt

[Артур Кирпичёв]

да, так показало, но только не символы а слова

[Артур Кирпичёв]

оно сразу в терминале выдало

[Tash1moto]

wc -m *

[Артур Кирпичёв]

Все в целом решение устраивает. Благодарю!

[Артур Кирпичёв]

Единственное что еще хотелось бы, что скрипт не учитывал пробелы. Так можно?

[Tash1moto]

секунду

[Tash1moto]

перейдите в папку и выполните команду: for f in $(ls); do c=$(egrep "." -ho $f| wc -l); s=$(egrep " " -ho $f| wc -l); echo $f - $(($c-$s)); done;

[Tash1moto]

чтобы записать в файл, выполните : for f in $(ls); do c=$(egrep "." -ho $f| wc -l); s=$(egrep " " -ho $f| wc -l); echo $f - $(($c-$s)) >> LOG.txt; done;

[Артур Кирпичёв]

вот такое выдал

MacBook-Air-Artur:Квадрокоптеры letaon$ for f in $(ls); do c=$(egrep "." -ho $f| wc -l); s=$(egrep " " -ho $f| wc -l); echo $f - $(($c-$s)); done;
LOG.txt - 368
egrep: gopro: No such file or directory
egrep: gopro: No such file or directory
gopro - 0

[Артур Кирпичёв]

если вариант с созданием файла, то также само, только в файле

[Tash1moto]

вот так сработает ) pastebin.com/raw/ZmRAnzSZ

[Артур Кирпичёв]

MacBook-Air-Artur:Квадрокоптеры letaon$ for f in $(ls | egrep "*txt"); do c=$(egrep "." -ho $f| wc -l); s=$(egrep " " -ho $f| wc -l); echo $f - $(($c-$s)) >> LOG.txt; done;
egrep: repetition-operator operand invalid

[Tash1moto]

запустить из папки в которой текстовые файлы.

[Артур Кирпичёв]

Так точно, https://www.dropbox.com/s/0evqn5drad1t5h0/%D0%A1%D...

Answer 2

[Saenara]

Открваете терминал, переходите в каталог с документами:
cd path/to/my/docs
и выполняете следующую команду

for file in *.txt; do printf '%s: %s\n' "${file}" "`cat ${file} | tr -d '[[:space:]]' | wc -c`"; done > report

если возникнет желание понять суть процесса, то в том же терминале вдумчиво читаем всё, что покажут следующие команды:

man wc
man tr
man cat
man 1 printf
man sh

Comments

[Артур Кирпичёв]

Спасибо за ответ.
Но вот что пишет терминал:

MacBook-Air-Artur:уник letaon$ cd /Users/letaon/Dropbox/Работа/Проекты/Тексты/Уник/Строительство
MacBook-Air-Artur:Строительство letaon$ for file in *.txt; do printf '%s: %s\n' "${file}" "`cat ${file} | tr -d '[[:space:]]' | wc -c`"; done > report
cat: Как: No such file or directory
cat: вывести: No such file or directory
cat: трубу: No such file or directory
cat: через: No such file or directory
cat: крышу.txt: No such file or directory
cat: Дома: No such file or directory
cat: из: No such file or directory
cat: бруса.txt: No such file or directory
cat: Клееный: No such file or directory
cat: брус.txt: No such file or directory
MacBook-Air-Artur:Строительство letaon$

В файле репорта вот что:
Как вывести трубу через крышу.txt: 0
Дома из бруса.txt: 0
Клееный брус.txt: 0

[Артур Кирпичёв]

в принципе почти все правильно, но где-то заковырка, как и с предыдущей командой

[Saenara]

Если у вас файлы содержат русский язык, то вместо wc -c пишете wc -m

[Saenara]

Пробелы в названиях файлов.
for file in *.txt; do printf '%s: %s\n' "${file}" "`cat "${file}" | tr -d '[[:space:]]' | wc -c`"; done > report

[Артур Кирпичёв]

так, уже лучше

MacBook-Air-Artur:Строительство letaon$ for file in *.txt; do printf '%s: %s\n' "${file}" "`cat "${file}" | tr -d '[[:space:]]' | wc -m`"; done > report
tr: Illegal byte sequence
tr: Illegal byte sequence
tr: Illegal byte sequence

но в репорте тоже самое

[Saenara]

А у вас там только текст или rtf?

[Артур Кирпичёв]

только текст, .txt

[Saenara]

А в какой кодировке? Потому что у меня с utf-8 всё отлично работает:

saemac:tmp saenara$ touch "один файл"
saemac:tmp saenara$ echo "содержание файла" > "один файл"
saemac:tmp saenara$ for file in *; do printf '%s: %s\n' "${file}" "`cat "${file}" | tr -d '[[:space:]]' | wc -m`"; done > report
saemac:tmp saenara$ cat report
один файл: 15

[Артур Кирпичёв]

Похоже что "Кириллическая (Windows)"

Ссылка на файл
https://www.dropbox.com/s/i37wfebsqbreik2/%D0%94%D...

[Saenara]

А вы файлы в чём создавали?

[Артур Кирпичёв]

Генерируются автоматически скриптом из другого текстового файла, в котором все статьи в одном файле (кучей, а скрипт разбивает отдельные статьи на отдельные файлы). А этот исходный файл генерируется программой, которая парсит статьи из интернета.

[Saenara]

У вас на маке установлены macports или brew?

[Артур Кирпичёв]

Нет

[Saenara]

Продолжаем разговор :-)

for file in *; do printf '%s: %s\n' "${file}" "`cat "${file}" | textutil -convert txt -stdin -inputencoding cp1251 -stdout -encoding utf-8 | tr -d '[[:space:]]' | wc -m`"; done > report

Пояснение -- вставил перекодировку содержимого файла из windows-1251 в unicode.

[Артур Кирпичёв]

Ура, посчитались символы без пробелов, то что нужно. Но с кодировкой пока никак

report: 0
Как вывести трубу через крышу.txt: 842
Дома из бруса.txt: 2232
Клееный брус.txt: 1142

[Артур Кирпичёв]

Скажите, а сумеет ли терминал сделать репорт в xml чтобы кол-во символов было в соседнем от заголовка столбце?

[Saenara]

Может показать вывод команды ls в каталоге с вашими файлами?

[Артур Кирпичёв]

давайте попробуем, мне по сути без разницы откуда потом копировать результат
идеально конечно чтобы в xml отдельной ячейкой цифры

[Артур Кирпичёв]

конечным итогом будет заполнение гугл таблицы в виде:

заголовок | кол-во сим. без пробела

[Saenara]

Не-не-не, я хочу посмотреть, читаемы ли названия ваших файлов в терминале.

[Артур Кирпичёв]

MacBook-Air-Artur:Строительство letaon$ wc -m *
117 report.txt
wc: Как вывести трубу через крышу.txt: Illegal byte sequence
985 Как вывести трубу через крышу.txt
wc: Дома из бруса.txt: Illegal byte sequence
2550 Дома из бруса.txt
wc: Клееный брус.txt: Illegal byte sequence
1306 Клееный брус.txt
4958 total

[Saenara]

Понятно. Тот текстовый редактор, которым вы открываете на просмотр файл report, считает, что файл в кодировке windows-1251, а на самом деле файл в Unicode. Или у вас в редакторе по умолчанию стоит отображение в windows-1251.

Т.е. при просмотре файла репорт надо либо в редакторе переключить кодировку, либо сделать так:
cat report
и вставить вывод куда вам надо.

Резюме: считается правильно и в файл репорт записывается правильно, просто ваш редактор показывает содержимое этого файла в неправильной кодировке.

[Артур Кирпичёв]

Благодарю за помощь и уделенное время.

Можно еще чуть чуть помучать?
Есть ли вариант вывода кол-ва символов в терминале без заголовка? По сути все тоже самое, но убрать из вывода заголовки, но чтобы остался тот же порядок

[Saenara]

Без заголовка -- это без имени файла?

[Артур Кирпичёв]

Да

[Saenara]

for file in *; do cat "${file}" | textutil -convert txt -stdin -inputencoding cp1251 -stdout -encoding utf-8 | tr -d '[[:space:]]' | wc -m; done > report

[Saenara]

Если убрать "> report" в конце, то можно сразу результат получить в терминале и скопировать его прямо оттуда куда надо.

[Артур Кирпичёв]

Отлично, спасибо.

[Saenara]

На здоровье :-)