Подсчет количества повторений слова man bash?

Question

[avion]

Нахожу top 3 слова по количество потворений в man bash
Скрипт:

#!/bin/bash
man bash | egrep -io '[a-z]{4,}' | tr '[A-Z]' '[a-z]' | sort | uniq -c | sort -nr | head -3

Первый вывод:

570 command
565 shell
336 value

Но спустя какое-то время происходит если запустит этот же скрипт, то значения могут увеличиться в большую сторону:
Второй вывод:

571 command
566 shell
336 value

В чем может быть проблема?

Comments

[Saboteur]

точно на той же системе ?

[avion]

Saboteur, уже решил проблему, вроде как это происходило из-за esc последовательностей в promt

[Saboteur]

Данил, так в вашем примере нет prompt

[avion]

Saboteur, я имею ввиду esc последовательности в PS1

[avion]

Saboteur, иногда выдает ошибку :2408: warning [p 19, 10.2i]: can't break line, как я понимаю, это связано с самим man, но вот как это пофиксить

[avion]

Saboteur, вроде бы как это из-за man width должно быть

[Saboteur]

в вашем случае PS1 один нет, все команды выполняются в пайпе, тут негде ps1
ресайз окна случайно не выполнятся в процессе?

[avion]

Saboteur, проблема в MANWIDTH, так как man по дефолту используют определённую длину для wrap, но так как stdin такого не понимает, то grep просто выдает предупреждение can't break the line. Решается MANWIDTH=1000. Я написал программу и с помощью нее проверил, сколько же все таки там слов и сколько раз они повторяются. Все значения совпали при MANWIDTH>=1000. Так что более чем уверен, что дело в этом.

[Saboteur]

да можно просто окно терминала было ресайзнуть и выполнить при разных размерах.

[avion]

Saboteur, что интересно, так это то, что даже при самом большом разрешении терминала, не достигается значения достаточного для нахождения всех повторений.

[Saboteur]

потому что man при переносе строк может использовать дефис.

Выполните вот так:

man --no-hyphenation bash| egrep -io '[a-z]{4,}' | tr '[A-Z]' '[a-z]' | sort | uniq -c | sort -nr | head -3

[avion]

Saboteur, да это работает, но только при достаточно большом разрешении, в других случаях значения верны, но получаются warnings, так что все равно нужно использовать MANWIDTH, если запускать в терминале не на все разрешение

[avion]

Saboteur, а есть какая-то логика в дефисах man когда он их ставит, а когда просто слово переносит? Так как он не всегда ставит дефис точно по размеру

[Saboteur]

ну можете исходники man посмотреть.

У man есть минимальная ширина, на которой он работает, чтобы не было варнингов.
В общем случае, ширины в 80 символов хватит однозначно, ибо это древний стандарт. Меньше - надо экспериментировать.

[avion]

Saboteur, а как может хватить 80? к примеру, строка 200 символов, man ее wrap на 80 символе, но в поток передается без этого ограничения, так как он это не понимает, соответсвенно grep передается полная строка без переносов, но man говорит, что должно быть 80 и следовательно grep говорит, что не может break the line. Получаем warning. Или это как-то не так работает? К примеру, cat выводит wrap man как просто новую строку, но grep такое не может.

[Saboteur]

так почитайте man man об опции --no-hyphenation
она говорит, что перенос нужно делать не на 80-м символе, а между словами.
просто сам пагинатор может требовать чтобы ширина была минимум определенное количество символов, потому что может встретиться длинное слово. 80 должно точно хватить на man bash