Ошибка кодировки, как исправить?

Question

[blazer05]

При экспорте в cvs получаю такой результат

где ошибка?
Код файла admin.py

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
from django.http import HttpResponse
import csv
import datetime
from django.contrib import admin
from .models import Order, OrderItem

def ExportToCSV(modeladmin, request, queryset):
    opts = modeladmin.model._meta
    response = HttpResponse(content_type='text/csv')
    response['Content-Disposition'] = 'attachment; \
        filename=Orders-{}.csv'.format(datetime.datetime.now().strftime("%d/%m/%Y"))
    writer = csv.writer(response)

    fields = [field for field in opts.get_fields() if not field.many_to_many and not field.one_to_many]
    # Первая строка- оглавления
    writer.writerow([field.verbose_name.encode("cp1251") for field in fields])
    # Заполняем информацией
    for obj in queryset:
        data_row = []
        for field in fields:
            value = getattr(obj, field.name)
            if isinstance(value, datetime.datetime):
                value = value.strftime('%d/%m/%Y')
            data_row.append(value)
        writer.writerow(str(data_row))
    return response
ExportToCSV.short_description = 'Export CSV'

class OrderItemInline(admin.TabularInline):
    model = OrderItem
    raw_id_field = ['product']

class OrderAdmin(admin.ModelAdmin):
    list_display = ['id', 'first_name', 'last_name', 'email', 'addres',
                    'postal_code', 'city', 'paid', 'created', 'update']
    list_filter = ['paid', 'created', 'update']
    inlines = [OrderItemInline]
    actions = [ExportToCSV]

admin.site.register(Order, OrderAdmin)

Comments

[sim3x]

encode("cp1251")

[blazer05]

если убрать, то тогда эта ошибка возникает

Exception Type: 	UnicodeEncodeError
Exception Value: 	

'ascii' codec can't encode characters in position 0-2: ordinal not in range(128)

Exception Location: 	D:\OpenServer\domains\myshop\orders\admin.py in ExportToCSV, line 18

[sim3x]

blazer05: питон3?

[blazer05]

sim3x: python 2.7.9

[blazer05]

я в принципе для этого и указал в 18 строке encode("cp1251"), тогда проблема с заголовками была решена, но с остальным не получилось что только не делал.

[sim3x]

blazer05: https://docs.djangoproject.com/en/1.11/howto/outpu...

Handling Unicode on Python 2

но правильнее перейти на 3

[blazer05]

sim3x: подскажи, установил этот модуль https://github.com/jdunck/python-unicodecsv
сделал импорт import unicodecsv as csv но в файле csv все равно кодировка не правильная.

[sim3x]

blazer05:
неправильная = такая же как на скрине?

[Павел Аксенов]

тут ошибка - writer.writerow(str(data_row))
попробуйте writer.writerows(data_row)

[blazer05]

sim3x: да, все работает сейчас без ошибок, но экспортируется в файл csv крякозябры

[blazer05]

Павел Аксенов: нет, так ошибка эта срабатывает
Exception Value:

'long' object is not iterable

Exception Location: D:\OpenServer\domains\virtualenv\myshop\Lib\site-packages\unicodecsv\py2.py in _stringify_list, line 50

[blazer05]

так все нормально отрабатывает, но только экспортируется в csv неправильная кодировка.

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
from django.http import HttpResponse
import unicodecsv as csv
import datetime
from django.contrib import admin
from .models import Order, OrderItem

def ExportToCSV(modeladmin, request, queryset):
    opts = modeladmin.model._meta
    response = HttpResponse(content_type='text/csv')
    response['Content-Disposition'] = 'attachment; \
        filename=Orders-{}.csv'.format(datetime.datetime.now().strftime("%d/%m/%Y"))
    writer = csv.writer(response)

    fields = [field for field in opts.get_fields() if not field.many_to_many and not field.one_to_many]
    # Первая строка- оглавления
    writer.writerow([field.verbose_name for field in fields])
    # Заполняем информацией
    for obj in queryset:
        data_row = []
        for field in fields:
            value = getattr(obj, field.name)
            if isinstance(value, datetime.datetime):
                value = value.strftime('%d/%m/%Y')
            data_row.append(value)
        writer.writerow(data_row)
    return response
ExportToCSV.short_description = 'Export CSV'

class OrderItemInline(admin.TabularInline):
    model = OrderItem
    raw_id_field = ['product']

class OrderAdmin(admin.ModelAdmin):
    list_display = ['id', 'first_name', 'last_name', 'email', 'addres',
                    'postal_code', 'city', 'paid', 'created', 'update']
    list_filter = ['paid', 'created', 'update']
    inlines = [OrderItemInline]
    actions = [ExportToCSV]

admin.site.register(Order, OrderAdmin)

[Павел Аксенов]

blazer05: упс. writer.writerow(data_row) надо без s, просто writerow

[sim3x]

blazer05:
Подразумевается, что .encode(...) в вашем коде нет
Попробуйте открыть в екселе с указанием утф8 кодировки

[blazer05]

Павел Аксенов: да, так и есть. выше пост с кодом

[Павел Аксенов]

blazer05: думаю надо в utf8 это делать, а кракозябры были из-за отсутствия BOM

import codecs
import six
...
response.write(codecs.BOM_UTF8)
writer = csv.writer(response)
...
writer.writerow([field.verbose_name.encode("utf8") for field in fields])
...
if isinstance(value, six.string_types):
    data_row.append(value.encode('utf8'))
else:
    data_row.append(value)

[blazer05]

Павел Аксенов: ух спасибо все получилось! Значит модуль что я установил не нужен unicodecsv?

[blazer05]

Павел Аксенов: Еще вопрос. Сейчас при экспорте в файл csv кодировка правильная, но там все в одно строку не по колонкам - как сделать, чтоб автоматически все записи по колонкам были?

[Павел Аксенов]

blazer05: получается unicodecsv не нужен.
а вот почему все в одну строку, точно не знаю. Можно попробовать, что-то такое:

writer = csv.writer(response, delimiter=str(';'), quoting=csv.QUOTE_ALL)

[blazer05]

Павел Аксенов: Спасибо большое чуть позже попробую.

[blazer05]

Павел Аксенов: да получилось! но только теперь после того как мы код в функции изменили некоторые поля не выводятся в csv. Сейчас это выглядит так.

[Павел Аксенов]

blazer05: такое чувство, что только строки попадают в csv.
Вот тут else не пропущен?

if isinstance(value, six.string_types):
    data_row.append(value.encode('utf8'))
else:
    data_row.append(value)

[blazer05]

Павел Аксенов: уже лучше, но несколько колонок пока ни как

код функции

def ExportToCSV(modeladmin, request, queryset):
    opts = modeladmin.model._meta
    response = HttpResponse(content_type='text/csv')
    response['Content-Disposition'] = 'attachment; \
        filename=Orders-{}.csv'.format(datetime.datetime.now().strftime("%d/%m/%Y"))
    response.write(codecs.BOM_UTF8)
    writer = csv.writer(response, delimiter=str(';'), quoting=csv.QUOTE_ALL)

    fields = [field for field in opts.get_fields() if not field.many_to_many and not field.one_to_many]
    # Первая строка- оглавления
    writer.writerow([field.verbose_name.encode("utf8") for field in fields])
    # Заполняем информацией
    for obj in queryset:
        data_row = []
        for field in fields:
            value = getattr(obj, field.name)
            if isinstance(value, six.string_types):
                data_row.append(value.encode('utf8'))
                writer.writerow(data_row)
            else:
                data_row.append(value)
    return response
ExportToCSV.short_description = 'Export CSV'

[Павел Аксенов]

blazer05: вот это writer.writerow(data_row) не в том месте стоит.

for obj in queryset:
        data_row = []
        for field in fields:
            value = getattr(obj, field.name)
            if isinstance(value, six.string_types):
                data_row.append(value.encode('utf8'))
            else:
                data_row.append(value)
        writer.writerow(data_row)

[blazer05]

Павел Аксенов: Спасибо, все победа!

[Павел Аксенов]

blazer05: На здоровье)

Answer 1

[Sly_tom_cat .]

заголовок пишем с указанием кодировки:

writer.writerow([field.verbose_name.encode("cp1251") for field in fields])

а строки - без:

writer.writerow(str(data_row))

Вот в этом и ошибка.