Django имя файла с кириллицей?

Question

[Сергей Озеранский]

Собственно проблема, не могу загрузить через админку файл содержащий кириллицу в названии, делаю так:

def make_upload_path(instance, filename):
    return u'instructions/%s' % smart_str(filename)

class File(models.Model):
    ...
    file = models.FileField(upload_to=make_upload_path)

    def __unicode__(self):
        return self.name

Так же пробовал smart_unicode

Подскажите, что я делаю не так?

Ошибка 'ascii' codec can't decode byte 0xd0 in position 0: ordinal not in range(128)


Вот что я получаю в трейсе:

instance <File: у>

filename u'\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f_eng_01_INFO.doc'

Answer 1

[galaxy]

В общем, наверное, самый правильный вариант будет:
1. Оставить

def make_upload_path(instance, filename):
    return u'instructions/%s' % filename

2. Исправить локаль, т.к. в восьмибитной локали сохранить произвольные юникодные имена не выйдет. Кто ставит эту локаль — не знаю, я бы смотрел на скрипты запуска gunicorn'a

Comments

[Сергей Озеранский]

Можете уточнить, это на какую локаль получается надо сменить 8битную?
Покапаю, поищу, спасибо

[galaxy]

на ru_RU.UTF-8, конечно
у вас gunicorn из убунтовских репов?

[Сергей Озеранский]

Вроде да, из убунтовских

[Сергей Озеранский]

Наверное имеет смысл обновиться с оф. репозитория?

[galaxy]

попробуйте добавить в конфиг gunicorn'a (в стандартном пакете они в /etc/gunicorn.d) в environment:
'LANG': 'ru_RU.UTF-8'

[Сергей Озеранский]

Правильно ли я понимаю что изменения нужно внести в /etc/gunicorn.d/django.example? Он подхватывается при запуске gunicorn?

[Сергей Озеранский]

у меня теперь ступор, я должен что стартовать gunicorn_django или run_gunicorn?

[galaxy]

Note

If you are using Django 1.4 or newer, it’s highly recommended to simply run your application with the WSGI interface using the gunicorn command as described above.

docs.djangoproject.com/en/dev/howto/deployment/wsgi/gunicorn/

подхватится все из gunicorn.d, что не кончается на .example
стартовать, например, через /usr/sbin/service
service gunicorn start

в автозагрузку:
update-rc.d gunicorn defaults

[Сергей Озеранский]

Спасибо, завтра попробую

Answer 2

[galaxy]

Где-то он ваше юникодное имя в ascii кодирует, скормите ему обычную строку:

def make_upload_path(instance, filename):
    return (u'instructions/%s' % filename).encode('utf-8')

Comments

[Сергей Озеранский]

не помогло, в трейсе:
u'/home/user/www/transactions/templates/static/uploads/instructions/\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f_ZISU_01_INFO.doc'

[galaxy]

1. Какая версия джанги?
2. Из какого места последний трейс?

[Сергей Озеранский]

Django 1.4.3
из последнего:

/home/user/www/transactions/env/lib/python2.7/genericpath.py in exists

os.stat(path)

…

▼ Local vars
Variable Value
path

u'/home/user/www/transactions/templates/static/uploads/instructions/\u0418\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f_ZISU_01_INFO.doc'

[galaxy]

покажите весь стек вызовов, если не сложно

[Сергей Озеранский]

в личке написал

[galaxy]

хм, почему-то в юникоде имя остается…
А вы рестартовали сервер после изменения кода? Он сам не подцепит, если запущен не через runserver

[Сергей Озеранский]

рестартовал. Может модели обновить?

[galaxy]

может

попробуйте еще вставить вывод в лог в функции make_upload_path
rv = (u'instructions/%s' % filename).encode('utf-8') logging.getLogger(__name__).error(repr(rv)) return rv

и после строки 85 в django\db\models\fields\files.py:
name = self.field.generate_filename(self.instance, name)

[Сергей Озеранский]

Добавил логирвоание и запустил на сервере чере runserver, заработала загрузка, правда навзание файла
Инструкция_ZISU_01_INFO
побитое такое.

Хотя и с таким именем работает, качивается обратно с сайта. Странно это все) Но спасибо, так работает, попилю позже немного.

[galaxy]

это у вас локаль неправильная (C, скорее всего)
в убунте через /etc/default/locale вроде меняется

[Сергей Озеранский]

ага, понятно, а когда запускаешь не под runserver, то падает, и падает страница просмтра (где файл можно сказать), в общем надо думать и смотреть в сторону сервера наверно. supervisor + nginx + gunicorn

[Сергей Озеранский]

LANG=«ru_RU.UTF-8»
эта стоит, какую надо?

[galaxy]

не, это нормально
судя по кривому имени, это UTF-8 в восьмибитной кодировке 88591 (если не ошибаюсь)
если вы это видите в ssh клиенте или файловом менеджере — то копайте его настройки
в принципе, в варианте кода, который я предложил, на диск должно писаться имя в utf-8

[Сергей Озеранский]

ок, понял, тут разберусь. Единственное не ясно почему не под runserver падает…

[galaxy]

логи-то пишутся?
скорее всего, в другом месте кодировка слетает, вопрос в каком…
я вот думаю, может быть, правильно держать имя файла в юникодной строке все-таки?..

[Сергей Озеранский]

сейчас падает в месте, на выводе файла, а именно метод где проверяется размер файла.
хм, вообще да, это было бы верно, вопрос только как? и что бы это еще и выводилось по человечески

Answer 3

[lexich]

Если под виндой посмотри mime с кирилицей stackoverflow.com/questions/4237898/unicodedecodeerror-ascii-codec-cant-decode-byte-0xe0-in-position-0-ordinal

Comments

[Сергей Озеранский]

Ubuntu Server…

Answer 4

[Сергей Озеранский]

Становится интересно, почему то не запускается из конфига /etc/supervisor/conf.d/transactions.conf
/home/user/www/transactions/env/bin/python /home/user/www/transactions/manage.py run_gunicorn --bind=localhost:8000 --log-file /home/user/www/transactions/logs/gunicorn_error.log
а если просто выполнить эту строку то все ок. но там не пойдет, нужно что бы она стартовала сама через supervisor (установлен)

Comments

[Сергей Озеранский]

Попробовал эту штуку, только вот осталось понять как её в автозагрузку засунуть и в фоне…