MySql cp1251 -> Jabber utf-8

Question

[S0mnium]

Подскажите пожалуйста каким образом мне можно перекодировать текст в cp1251 из бд в utf-8 для отправки jabber?
Буду очень признателен.

Answer 1

[S0mnium]

Ларчик просто открывался, данные я получаю в utf8 из бд, далее получив данные str = unicode(string) проблема в том что python не знал в какой кодировке я получил данные.

Comments

[KEKSOV]

Я об этом и хотел сказать, но не мог, т.к. не знаю python… Хорошо, что у Вас все получилось! :)

Answer 2

[Илья Севостьянов]

тысячи их — способов. Вам необходимо сменить кодировку именно на этапе отправки, т.е. в процессе работы какой-то Вашей программы, или вы прямо в базе хотите конвертировать?

Comments

[S0mnium]

Из базы в таком виде получаю:
((u'\u041c\u0430\u0440\u0448\u0440\u0443\u0442\u043d\u044b\u0439 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440 \u041e\u0420\u0418\u041e\u041d \u0411\u041a-06', 625L),)
Как это в utf8 преобразовать не могу разобраться, может есть возможность из базы уже на лету получать utf8 вообще идеально будет.
MySQLdb.connect(host="example.com",user='test',passwd='test,db='test',charset='cp1251')
Строка подключения.

Answer 3

[KEKSOV]

А что показывает, скажем, SQLyog? Я имею ввиду в текстовых полях.
Вообще, конвертировать таблицу можно при помощи команды ALTER TABLE CONVERT TO CHARACTER SET utf8;

Comments

[S0mnium]

Мне таблицу конвертировать не надо, я хочу получать данные и отправлять через jabber, а он требует в utf8 пробовал s.decode('cp1251').encode('utf8') не помогает.

[KEKSOV]

1.

А что показывает, скажем, SQLyog? Я имею ввиду в текстовых полях.

2. А пробовали charset='utf8' в connect указать?
3. И еще, сразу после установления соединения попробуйте выполнить строку SET NAMES utf8;

[S0mnium]

1.

А что показывает, скажем, SQLyog? Я имею ввиду в текстовых полях.

SQLyog не используется, поэтому что показывает сказать не могу.
2. Ставил charset
3. Так же устанавливал
Ошибка: TypeError: coercing to Unicode: need string or buffer, long found
В строку подключения добавил use_unicode = True

[KEKSOV]

Уточняющий вопрос: весь код отправки Ваш собственный или Вы что-то чужое допилить/прикрутить пытаетесь?

[S0mnium]

Так же прямо в коде для текстовых полей использовал convert(`field` using utf8) безрезультатно.

[KEKSOV]

Сделайте пожалуйста mysqldump для таблицы и запостите сюда любой из INSERT'ов

[KEKSOV]

Судя по тексту ошибки, Вы используете Django (сорри, я его совсем не знаю), так что это проблема не в MySQL, а в этом фреймворке. Быстрый гуглинг подтверждает это и дает совет как это исправить

[S0mnium]

INSERT INTO `tovar` (`id_tovar`, `wer`, `tabs`, `id_cat`, `id_group`, `smal_description`, `vs_description`, `description`, `company`, `part_number`, `artikul`, `img`, `last_cena`, `cena`, `cena1`, `cena2`, `cena3`, `sklad`, `buy_count`, `rating`, `id_user`, `edit_user`, `public_user`, `public_tovar`, `del_tovar`, `position_sort`, `cena_prihod`, `title`, `meta`, `putdate`, `deldate`, `editdate`, `keywords`) VALUES
(2, '', 0, '', '|20|', 'Распредвал Нуждин 8v 10,26 мм, фаза 270 градусов.', '', 'Спортивный Распредвал', 0, 0, '', '1358520630.jpg', 3950, 3950, 0, 0, 0, 1, 0, 0, 2, 242, 242, 1, 0, 8, 0, '', '', '2012-07-12 10:57:04', '0000-00-00 00:00:00', '2013-06-17 17:43:32', '')

import xmpp
import MySQLdb
import locale
import codecs
import string

xmpp_jid = '[e-mail]'
xmpp_pw = 'passw'

to='[e-mail]'
msg='test'

db = MySQLdb.connect(host="example.com",user='user',passwd='passwd',db='db',charset='utf8',use_unicode = True)
#db.set_character_set('utf8')
cursor = db.cursor()
cursor.execute("SET NAMES utf8;")
def __unicode__(self):
   return unicode(self) or u''# .some_field

def message_handler(connect_object,message_node):

        admin = "[e-mail]"
        from_user = message_node.getFrom().getStripped()

        if admin == from_user: 
            command = str(message_node.getBody())
            if command=="exit":
                quit()
            if command=="None":
                return
            sql = "SELECT `buy` FROM `buy` WHERE `id_buy`="+command
            cursor.execute(sql)
            data = cursor.fetchall()
            message = ''
            prev = data[0][0].split()
            for pre in prev:
                    msg = pre.replace('-',' ').split()
                    sql="SELECT `description`,`price` FROM `tovar` WHERE `id_tovar`="+msg[0]+" LIMIT 1"
                    cursor.execute(sql)
                    res=cursor.fetchall()
                    command = "echo '"+res[0][0].encode('utf8')+"'"
                    print res[0][0]
                    message +=__unicode__(res[0][0])
                    message += msg[1]
                    message += res[0][1]
                    message +="\n"
        else:
                message="Access denied!\nContact system admin"
        connect_object.send( xmpp.Message( message_node.getFrom() ,message))

jid=xmpp.protocol.JID(xmpp_jid)
client=xmpp.Client(jid.getDomain(),debug=[])
client.connect()
client.auth(jid.getNode(),str(xmpp_pw),resource='xmpppy')
client.RegisterHandler('message',message_handler)
client.sendInitPresence()

while client.Process(1):
    pass

[S0mnium]

Нет dijago не использую, стандартные либы python и кусок текста выше.

[KEKSOV]

Забыл попросить, DDL для tovar запостите пожалуйста