В документации написано то необходимо явно указывать кодировку. charset=utf8, пример ниже и документация.
# set client encoding to utf8; all strings come back as unicode
create_engine('mysql+mysqldb:///mydb?charset=utf8')
docs.sqlalchemy.org/en/latest/dialects/mysql.html#...