Можете помочь получить примеры вывода команды `tree` в кодировках, отличных от CP866 и UTF-8, для тестирования парсера на Python?

Question

[Дмитрий]

Я разрабатываю утилиту на Python для конвертации вывода команды `tree` (Windows и Linux) в Excel с автоопределением кодировки. Чтобы протестировать обработку кириллицы, иероглифов и спецсимволов в разных кодировках (особенно отличных от моей CP866, где программа точно работает, и от UTF-8), мне не хватает реальных примеров.

Буду очень благодарен, если вы поделитесь результатами выполнения команды `tree`. Подойдёт вывод без параметров или с флагами `/f`, `/a`, `/f /a` (не обязательно все варианты сразу). Это может быть дерево даже директории с какой-нибудь игрой.

Если у вас есть действительно большое дерево каталогов, это будет идеально. Пожалуйста, не вставляйте его в текст ответа, а загрузите на pastebin (например, termbin.com) и оставьте ссылку.

Будет здорово, если для каждого примера вы укажите:
- операционную систему;
- активную кодировку;
- использованные параметры команды `tree`.

Заранее спасибо за помощь!

Comments

[Михаил Р.]

Показывайте код, и сообщите, где и что конкретно не получилось?

Answer 1

[Пума Тайланд]

вывод с чужих машин тебе не особо и нужен — сгенерируй эталонное дерево в utf-8, лучше с ASCII-ветвями (`tree /a` в Windows, `tree --charset=ascii` в Linux — так меньше риск что рамка не влезет в целевую кодировку), и перекодируй сам под нужные:

text = open('tree-utf8.txt', encoding='utf-8').read()
for enc in ('cp1251', 'koi8-r', 'cp932', 'gbk', 'big5'):
    try:
        data = text.encode(enc)
    except UnicodeEncodeError as e:
        print(enc, 'не влезло:', e)
        continue
    open(f'tree-{enc}.txt', 'wb').write(data)

получишь воспроизводимые тестовые файлы, не завися от того, кто что пришлёт на pastebin.

Comments

[Дмитрий]

Почему-то мой комментарий исчез или удален, так что повторю. Я хотел сделать что-то подобное, но засомневался, потому что символы то у меня в дереве будут на кириллице, просто поменяется кодировка, которая этих символов не поддерживает и все. Символов, которые в этой кодировке есть у меня как нет, так и не будет. К тому же символы псевдографики в некоторых кодировках просто нет. Так что в зависимости от кодировки вывод должен быть или без параметров или с /a, что даст совершенно разный эффект для программы.
Вот такие граничные случаи я и хочу проверить.

[Пума Тайланд]

Usdmal, тут да, просто перекодированием не обойдёшься — нужно отдельно гонять кейсы с /a (псевдографика) и без, плюс под каждую кодировку свои символы/имена, которые она реально тянет. По сути получится набор фикстур под разные пары «кодировка + режим».

[Дмитрий]

Зато пока мучался с этой проблемой, обнаружил кучу других)) Так что все равно полезно было)

Answer 2

[pfg21]

а не проще ли перед tree запускать команду выбора кодепейдж chcp 65001 или chcp 1251 ??
еще помню была какаято команда переводящая язык сообщений консоли виндовс на аглицкий.
удобнейшее средство от всех косяков не умеющего в отличные от аглицкого языка cmd :)

Comments

[Дмитрий]

пробовал. Это не работает :( точнее, это, во-первых, не работает для азиатских и арабских кодировок (у меня даже такого языкового пакета нет, да и я не знаю что там печатается), , во-вторых, мои файлы то все равно на кириллице.
В общем я отчаялся протестить свою программу))

[pfg21]

Дмитрий, если у тебя один херъ программа, то читай програмой содержимое папки вместо пользования tree

[Дмитрий]

pfg21, ну это все равно, что у меня есть программа для аутентификации пользователя, но раз она не может логин/пароль проверить, пусть сканирует паспорт)))

[pfg21]

Дмитрий, неа, самсем не так :)
ты берешь костыль от винды для получения списка файлов по некоторому пути и пытаешь какойто програмкой на каком-то языке получить из его выхлопа какието данные.
в самом языке должен быть инструмент получения списка файлов. зачем внешний костыль ??

у тебя же питоныч прописан в заголовке :) зачем костыли
https://yandex.ru/search/?text=python+получить+спи...

[Дмитрий]

Так в этом и суть. Парсинг этого вывода команды tree, а не просто собрать перечень директорий и папок. К тому же я тут снова оказываюсь в ситуации, что у меня то папки на кирилице в формате utf-8 названы.
Я понимаю, что в целом инструмент мало нужный. Но я учусь, практикуюсь, это хорошая задача на работу со строками, модулями, кодировкой, исключениями, контролем за памятью, которую программа жрет, логированием)
Например, благодаря попытке решения этой задача, я понял, что библиотека 'openpyxl' совершенно не подходит, если объем данных большой и для объединения ячеек. Узнал как под капотом эта библиотека создаёт ячейки в файле вывода, что объяснило для меня почему время обработки для каждого уровня растет в геометрической прогрессии.
В общем полезный опыт для меня, как новичка)

[pfg21]

Дмитрий, зачем тебе промежуточный костыль из tree если ты можешь напрямую брать данные из фс функциями языка програмирования ??
если учишься - учись делать работу качественно, а не делать троллейбус из буханки.