Как подружить python 2.7, русские символы и pyodbc?

Question

[vladvaraks]

Пытаюсь отправить запрос в базу данных с помощью pyodbc и python 2.7, если в запросе не вводить русские буквы, то он отрабатывает, но если сделать условие с русскими символами то, в консоле мне выводит пустой список, думаю проблема в кодировке, но не могу понять как решить.

import pyodbc
import pandas as pd
import sys
from imp import reload
 
reload(sys)
sys.setdefaultencoding('utf-8')
driver = 'DRIVER={MySQL ODBC 3.51 Driver}'
server = 'SERVER=localhost'
port = 'PORT=3306'
db = 'DATABASE=oc12'
user = 'UID=root'
pw = 'PWD=1234'
conn_str = ';'.join([driver, server, port, db, user, pw])
conn = pyodbc.connect(conn_str)
cursor = conn.cursor()
 
b = cursor.execute("SELECT change_log.ParamProd, (SUM(CounterAfter)-SUM(CounterBefore)) AS Schet FROM selling LEFT JOIN (SELECT change_log.ShopKey, change_log.SeekKey, Max(change_log.Parameters) AS ParamProd, Max(change_log.DatetimeEnd) AS DTE FROM change_log WHERE change_log.GuideKey=592384 GROUP BY change_log.SeekKey, change_log.ShopKey)  AS change_log ON (selling.ShopKey = change_log.ShopKey) AND (selling.ResourceShopKey = change_log.SeekKey) WHERE date(TransactionDatetime)='2021-03-18' and change_log.ParamProd LIKE '%АИ-92%' GROUP BY change_log.ParamProd")
print(b.fetchall())

Comments

[Влад Григорьев]

зачем вам 2.7 ?
ну и судя по коду у вас не 2.7 код

[vladvaraks]

Влад Григорьев, нужно запустить на XP

[Александр Карабанов]

Убедись, что код скрипта в UTF-8 сохранён.
Попробуй добавь магический комментарий # -*- coding: utf-8 -*-

[vladvaraks]

Александр Карабанов, пробовал, не помогает

[vladvaraks]

SKEPTIC, дело не в калькуляторе, нужна именно эта винда(

Answer 1

[vladvaraks]

Ответ банальный, вдруг кто то столкнется с такой глупой ошибкой код ниже

# -*- coding: utf-8 -*-
import pyodbc
import pandas as pd

driver = 'DRIVER={MySQL ODBC 3.51 Driver}'
server = 'SERVER=localhost'
port = 'PORT=3306'
db = 'DATABASE=oc12'
user = 'UID=root'
pw = 'PWD=1234'
conn_str = ';'.join([driver, server, port, db, user, pw])
conn = pyodbc.connect(conn_str)
cursor = conn.cursor()

b = cursor.execute(u"SELECT change_log.ParamProd, (SUM(CounterAfter)-SUM(CounterBefore)) AS Schet FROM selling LEFT JOIN (SELECT change_log.ShopKey, change_log.SeekKey, Max(change_log.Parameters) AS ParamProd, Max(change_log.DatetimeEnd) AS DTE FROM change_log WHERE change_log.GuideKey=592384 GROUP BY change_log.SeekKey, change_log.ShopKey) AS change_log ON (selling.ShopKey = change_log.ShopKey) AND (selling.ResourceShopKey = change_log.SeekKey) WHERE date(TransactionDatetime)='2021-03-18' and change_log.ParamProd LIKE '%АИ-92%' GROUP BY change_log.ParamProd")
print(b.fetchall() .encode('кодировка нужная'))

Answer 2

[rPman]

добавь к conn_str еще это
CHARSET=UTF8

Comments

[vladvaraks]

Ругается ('HY000', u"[HY000] [MySQL][ODBC 3.51 Driver][mysqld-5.7.33-log]Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation 'like' (1267) (SQLExecDirectW)")

[rPman]

Кодировка базы у тебя latin_swedish_ci, логично что нужно менять и на сервере на utf8 эти кодировки не могут однозначно одна в другую брат переведены

[vladvaraks]

rPman, ну так все было бы проще если бы я мог перевести, но мне нужно именно с такими условиями сделать запрос

[vladvaraks]

rPman, В базе нельзя менять кодировку и Python должен работать на Win XP

[rPman]

и как драйвер должен догадываться, в какой символ перевести русскую букву Й или Ъ из кодировки utf8, если в шведской кодировке таких символов нет и нет места для размещения русский (однобайтовая)

теоритически можно исходные тексты python писать в latin1_swedish, в настройках подключения тоже указать swedish, и в интерфейсе так же ее же установить (извращаясь со шрифтами) и надеяться что русские символы в этой кодировке попадут на какие то значимые символы в шведском,.. и даже в этом случае будут проблемы с сортировкой и может даже поиском (индексы будут кривые)

[rPman]

само собой, иначе бы тексты в неправильной кодировке в принципе не могли бы сохраниться в базе

[rPman]

извиняюсь, я немного ошибся, попутав в обсуждении collate и charset, просто не представляю особой пользы если кодировка базы будет к примеру идеологически верной utf8 а collate зачем то латинский, логично их устанавливать 'совместимыми'.

если проблема только в collate то можно конечно сделать
ALTER DATABASE my_database DEFAULT COLLATE utf8_unicode_ci;

а вот с кодировкой данные придется конвертировать (однобайтовые кодировки -> utf8 очевидно безопасно по данным)
ALTER TABLE my_database CONVERT TO CHARACTER SET utf8 COLLATE utf8_unicode_ci;

p.s. ChairfaceChippendale в чем прелесть писать в ответах фразы - это легко, ищите в гугле?

[vladvaraks]

rPman, извините, но я же говорю, что не могу ничего сделать с базой, не изменить, не внести корректировки, только подобрать данные, мне не подходит вариант менять кодировки(

[rPman]

я поискал и не нашел адекватного решения в условиях автора вопроса
добавить skip-character-set-client-handshake в my.conf?
не уверен что это решение, запросы будут работать но правильно ли?

[vladvaraks]

ChairfaceChippendale, встану на сторону вашего собеседника, если уже есть ответ на такой вопрос дайте пожалуйста ссылку на него или напишите ответ, ведь он банальный, а вы не предложили ничего кроме как сменить кодировки, это не помогает