Hook-скрипт python неверно декодирует вывод кириллицы из linux shell. В чем ошибка?

Question

[Роман Заневский]

Есть хук скрип на python. Вот его главная функция:

def main(repos):
  log_cmd = '%s log "%s"' % (SVNLOOK, repos)
  log_msg = os.popen(log_cmd, 'r').readline().rstrip('n')
  rev_number_cmd = '%s info "%s"' % (SVNLOOK, repos)
  out = subprocess.Popen(rev_number_cmd, stdout=subprocess.PIPE, shell=True)
  revs = out.stdout.read().decode('UTF-8')
  own_key = check_commit_message(log_msg, jira)
  comment_jira_ticket(jira, own_key, revs)

if __name__ == '__main__':
  main(sys.argv[1])

Данный скрипт выполняет команду svnlook info и берет инфо последнего коммита в репозитории. При использовании команды в linux shell вся информация выводится верно и корректно:

username
2020-05-07 20:53:48 +0300 (Thu, 07 May 2020)
53
ISSUE-148 Win В первом раунде

При вызове команды скриптом и декода из utf-8 получается:

username
2020-05-07 20:53:48 +0300 (Thu, 07 May 2020)
53
ISSUE-148 Win {U+0412} {U+043F}{U+0435}{U+0440}{U+0432}{U+043E}{U+043C} {U+0440}{U+0430}{U+0443}{U+043D}{U+0434}{U+0435}

Не могу справится с этим: пробовал декоды из различных кодировок. Заранее спасибо за помощь!

Comments

[javedimka]

А зачем делать декоде?

[Роман Заневский]

javedimka, потому что в зависимости от метода вывода: read() либо readlines() получаем либо строку либо лист байтов. А нам в итоге нужен стринг

[javedimka]

Роман Заневский, понятно, кодировку в вызове Popen() задать можно, чтобы методы сразу строку возвращали. Только для винды надо, скорее всего, cp1251 использовать, а не utf-8.

[Andy_U]

Роман Заневский: а там не какой-нибудь древний KOI-8?

Answer 1

[Andy_U]

Не ваш случай?

Comments

[Роман Заневский]

Не совсем. В моем случае svnlook все выдает хорошо. Проблемы начинаются у python, видимо, когда он пытается взять результат выполнения svnlook. Но там есть итересные мысли

[Andy_U]

Роман Заневский, Питон не при чем. Это svn понимает, что не в stream информацию посылает, а в pipe.

Чему у вас равна environment переменная LANG? "ru_RU.cp1251" или что? Зачем вам shell=True? Покажите байтики, которые у вас не декодируются? И почему вы то os.popen вызываете, то subprocess.Popen? Ну и вообще, под Linux'ом обычно проблем не бывает. Вот под Windows - там, да, или 866 страница вылезет, или 1251. Кстати, в Popen можно свой environment передать. Тот же LANG.

[Роман Заневский]

Andy_U, Lang = en.US. UTF-8. Shell=true, как раз ради того, чтобы выполнять сий код через оболочку. subprocess.Popen здесь для того, чтобы независимо вызвать процесс, хотя Вы правы, можно заменить его на os.popen и по сути ничего не изменится. За идею передать свой env спасибо!)

[Andy_U]

Роман Заневский

Shell=true, как раз ради того, чтобы выполнять сий код через оболочку.

Зачем? Ваш svnlook, это же не команда bash, как например, cd, а нормальный elf. (может, конечно оказаться и bash script'ом, но я сильно я этом сомневаваюсь) Ну, запустите which svnlook и проверьте, что это выполняемый файл. А вот which cd ничего не найдет. И, ведь os.popen() отработал?

subprocess.Popen здесь для того, чтобы независимо вызвать процесс

А чего вы тогда сразу беретесь его вывод читать, не дождавшись окончания процесса? Так не делается. Уже не помню, но там же сначала нужно communicate() вызвать...

можно заменить его на os.popen и по сути ничего не изменится.

Забудьте про deprecated (с версии питона 2.6) os.popen, используйте subprocess.run().

И, да покажите байтики (до encode).

[Роман Заневский]

Andy_U, Спасибо огромное! Прошу прощения за простой - был в отъезде) Много дельных замечаний.

Зачем? Ваш svnlook, это же не команда bash, как например, cd, а нормальный elf. (может, конечно оказаться и bash script'ом, но я сильно я этом сомневаваюсь) Ну, запустите which svnlook и проверьте, что это выполняемый файл. А вот which cd ничего не найдет. И, ведь os.popen() отработал?

Увы, если передавать не через шелл, то он просто его не видит
Прошу. Вот байты строки:

62 27 69 67 72 6f 74 65 6b 5c 6e 32 30 32 30 2d 30 35 2d 32 37 20 31 34 3a 34 37 3a 31 33 20 2b 30 33 30 30 20 28 57 65 64 2c 20 32 37 20 4d 61 79 20 32 30 32 30 29 5c 6e 31 33 34 5c 6e 57 46 42 2d 31 34 38 20 5b 70 74 62 5f 50 79 72 61 6d 69 64 5f 75 70 5d 20 7b 55 2b 30 34 31 32 7d 20 7b 55 2b 30 34 33 46 7d 7b 55 2b 30 34 33 35 7d 7b 55 2b 30 34 34 30 7d 7b 55 2b 30 34 33 32 7d 7b 55 2b 30 34 33 45 7d 7b 55 2b 30 34 33 43 7d 20 7b 55 2b 30 34 34 30 7d 7b 55 2b 30 34 33 30 7d 7b 55 2b 30 34 34 33 7d 7b 55 2b 30 34 33 44 7d 7b 55 2b 30 34 33 34 7d 7b 55 2b 30 34 33 35 7d 5c 6e 5c 6e 5c 6e 5c 6e 27

[Andy_U]

Роман Заневский,

1) svnlook не может быть не виден:

$ which svnlook
/usr/bin/svnlook

2) Ваши "байты строки" это результат двойного преобразования в utf8... Как вы этого ухитрились добиться, даже разбираться не хочу.

3) Попробуйте выполнить вашу команду по образцу ниже (заменив первый аргумент subprocess run на ['svnlook', 'info', 'репозиторй']).

import subprocess


if __name__ == '__main__':

    rc = subprocess.run(['svnlook',  'help'], stdout=subprocess.PIPE, stderr=subprocess.PIPE, encoding='utf8')
    print()
    print('----- stdout -----')
    print(rc.stdout)
    print('----- stderr -----')
    print(rc.stderr)
    print('----- end -----')

P.S. У меня на корпоративном кластере это работает.

[Роман Заневский]

Andy_U, Да, когда я запускаю этот скрипт в терминале на сервере питон выводит все четко и красиво, но при открытии этого результата чем-либо либо попытке вывода через sys.stedrr.write получаем все ту же проблему

username
2020-05-07 20:53:48 +0300 (Thu, 07 May 2020)
53
ISSUE-148 Win {U+0412} {U+043F}{U+0435}{U+0440}{U+0432}{U+043E}{U+043C} {U+0440}{U+0430}{U+0443}{U+043D}{U+0434}{U+0435}

[Andy_U]

Роман Заневский, Вы попробовали мой скрипт?

[Роман Заневский]

Andy_U, Да. Выглядит так, как будто питон в своем терминале использует одну кодировку для принта, а для у stdout другая

[Andy_U]

Роман Заневский, Покажите вывод.

[Роман Заневский]

Andy_U, Прошу

>>> print(rc.stdout)
igrotek
2020-05-27 17:39:42 +0300 (Wed, 27 May 2020)
55
ISSUE-148 Win В первом раунде

[Andy_U]

Роман Заневский, Я тогда не понял, что вас еще не устраивает?

[Роман Заневский]

Кажется моя проблема немного поменялась: при выводе через терминал:

>>> print(rc.stderr)
>>>

А этот вывод нужен в том числе

[Andy_U]

Роман Заневский, Так если его нет? Запустите свой svnlook c несуществующей командой и убедитесь, что все в порядке.

[Роман Заневский]

Andy_U, Спасибо, да. Все верно. Я кажется не правильно понял свою проблему.

[Роман Заневский]

Andy_U, Прошу прощения. Совсем юн в этом деле. Я просто пытаюсь передать эти данные в клиент свн, который запускается в windows. Я думал, что tortiose svn без проблем обрабатывает utf8 из linux и дело в скрипте. Но видимо при выводе результата все искажает именно tortoise svn(