Проблема с кодировкой в apache2 или mysql?

Question

[Dima Kl]

Доброго времени суток.
Имеется сервер на Ubuntu server 16.04
Установлен Apache2, Mysql, Redmine
Моя задача:
Получить данные из вне, и передать их в Redmine по средством скрипта написанного на python.
Если данные на английском языке, проблем нет.
Если на кириллице то вот так выглядит слово - тест : {U+0442}{U+0435}{U+0441}{U+0442}
Если данные на кириллице передавать из скрипта (т.е. создать и определить переменную с кириллицей в скрипте) то все как надо отображается.
Заглянул в бд redmine, и увидел "неправильная" кириллица уже туда записывается, т.е. что-то не правильно передает данные в бд, как я понял.
Главный вопрос: Кто виноват в "коверканьи" кириллицы ?
дополнение:
Такой момент.
Если запускаю свой скрипт руками, на стороне сервера, то все пишется как положено кириллицей.
А если скрипт запускается автоматически, после выполнения определенного условия то появляются "проблемы" с кириллицей.

Заранее спасибо.

Comments

[xzdshr]

Виноват скрипт, который пишет в БД

[Dima Kl]

тогда вопрос, какой... ?
мой скрипт передает данные в redmine через api

[xzdshr]

как вам ответить какой, если мы тут ни одного не видим?
90% что кодировка базы одна, а кодировка записываемой строки иная

[Dima Kl]

Так, хорошо. Если отталкиваться от моего скрипта. То почему через определённую переменную в нем же правильно пишет ?

[Dima Kl]

Так скажем я не за прямым ответом пришёл сюда, а за направление исследования. Спасибо

[xzdshr]

Потому что он работает с определенной кодировкой и отдает в ней же.
БД работает в другой кодировке и записывает в ней же.

Вообще не видя реального примера, в итоге проблема может оказаться в другом.

[Dima Kl]

xzdshr: xzdshr:
Какие данные вам предоставить ?

Answer 1

[Dima Kl]

мдя... если у кого возникнет похожая ситуация, то ...
Незнаю почему, но s = subprocess.check_output(['svn', 'log', '-r', 'HEAD', '/reps_folder/rep/rep']) эта строка при вызове "автоматически" возвращает текст в ascii кодировке, НО если мы будем возвращать в xml формате, т.е. s = subprocess.check_output(['svn', 'log', '--xml', '-r', 'HEAD', '/reps_folder/rep/rep']) то с кодировкой все хорош utf-8

Answer 2

[Dimonchik]

chardet чекаешь,
в utf8 конвертишьи в нем же все гоняешь,
если надо - всякие urlencode при передаче по сети делаешь ( обычно либы сами это умеют)

Comments

[Dima Kl]

Отлично, теперь я смог увидеть что текст передается в базу в ascii кодировке.
Прошу прощения за глупый вопрос (с питоном знаком буквально неделю)
Как конвертировать в utf-8
попробовал:
msg -- наше сообщение в ascii
1. msg.decode('utf-8') -- ничего не изменилось
2. msg = unicode(msg, "utf-8") -- ничего не изменилось

[Dimonchik]

msg.encode().decode('utf8','ignore')

[Dima Kl]

Вставил в код и в место слова проверка:
{U+043F}{U+0440}{U+043E}{U+0432}{U+0435}{U+0440}{U+043A}{U+0430}
т.е. ничего не изменилось.
А если вручную запускаю скрипт то получаю ошибку:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 1: ordinal not in range(128)