Python3+uwsgi на Ubuntu 16.04. No module named 'encodings' — как узнать в чем дело?

Question

[Илья Ерохин]

Ubuntu 16.04, Python3, virtualenvwrapper, uwsgi. Python и uwsgi - стандарнтые системные.

Ошибка при запуске сервиса uwsgi, в логе ключевые строчки -

Fatal Python error: Py_Initialize: Unable to get the locale encoding
ImportError: No module named 'encodings'

UPD!!!: Убрал строчку
home=/root/.virtualenvs/vek/bin/python
и все заработало. В крайнем случае буду использовать голобальное окружение Питона, но в чем же все-таки проблема?

Куда только уже не рыл, мысли кончились. В чем может быть проблема и как ее вообще искать (логи детализировать, что-то еще отдиагностировать)?

Все ключевые подробности, если чего не хватает - добавлю.

# cat /etc/uwsgi/apps-enabled/vek.ini 
[uwsgi]
plugins=python3
chdir=/srv/vek/django
module=vek.wsgi:application
home=/root/.virtualenvs/vek/bin/python

# apt-get install uwsgi-plugin-python3 
Reading package lists... Done
Building dependency tree       
Reading state information... Done
uwsgi-plugin-python3 is already the newest version (2.0.12-5ubuntu3).
0 upgraded, 0 newly installed, 0 to remove and 3 not upgraded.

# cat /var/log/uwsgi/app/vek.log
...
Thu Jun 23 17:12:52 2016 - *** Starting uWSGI 2.0.12-debian (64bit) on [Thu Jun 23 17:12:51 2016] ***
Thu Jun 23 17:12:52 2016 - compiled with version: 5.3.1 20160412 on 13 April 2016 08:36:06
Thu Jun 23 17:12:52 2016 - os: Linux-4.4.0-24-generic #43-Ubuntu SMP Wed Jun 8 19:27:37 UTC 2016
Thu Jun 23 17:12:52 2016 - nodename: vek-dverey.ru
Thu Jun 23 17:12:52 2016 - machine: x86_64
Thu Jun 23 17:12:52 2016 - clock source: unix
Thu Jun 23 17:12:52 2016 - pcre jit disabled
Thu Jun 23 17:12:52 2016 - detected number of CPU cores: 1
Thu Jun 23 17:12:52 2016 - current working directory: /
Thu Jun 23 17:12:52 2016 - writing pidfile to /run/uwsgi/app/vek/pid
Thu Jun 23 17:12:52 2016 - detected binary path: /usr/bin/uwsgi-core
Thu Jun 23 17:12:52 2016 - setgid() to 33
Thu Jun 23 17:12:52 2016 - setuid() to 33
Thu Jun 23 17:12:52 2016 - chdir() to /srv/vek/django
Thu Jun 23 17:12:52 2016 - your processes number limit is 3912
Thu Jun 23 17:12:52 2016 - your memory page size is 4096 bytes
Thu Jun 23 17:12:52 2016 - detected max file descriptor number: 1024
Thu Jun 23 17:12:52 2016 - lock engine: pthread robust mutexes
Thu Jun 23 17:12:52 2016 - thunder lock: disabled (you can enable it with --thunder-lock)
Thu Jun 23 17:12:52 2016 - uwsgi socket 0 bound to UNIX address /run/uwsgi/app/vek/socket fd 3
Thu Jun 23 17:12:52 2016 - Python version: 3.5.1+ (default, Mar 30 2016, 22:46:26)  [GCC 5.3.1 20160330]
Thu Jun 23 17:12:52 2016 - Set PythonHome to /root/.virtualenvs/vek/bin/python
Fatal Python error: Py_Initialize: Unable to get the locale encoding
ImportError: No module named 'encodings'

Current thread 0x00007f0abc3b7780 (most recent call first):

# /root/.virtualenvs/vek/bin/python 
Python 3.5.1+ (default, Mar 30 2016, 22:46:26) 
[GCC 5.3.1 20160330] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import encodings
>>> encodings
<module 'encodings' from '/root/.virtualenvs/vek/lib/python3.5/encodings/__init__.py'>
>>>

Подозреваю что используется какой-то не тот Питон, но в логе uwsgi версия правильная

UPD: проверил версию неправильного именования плагина:

# uwsgi<TAB key>
uwsgi           uwsgi-core      uwsgi_python3   uwsgi_python35

Видно что есть плагины uwsgi_python3 и uwsgi_python35. Попробовал изменить название плагина в ini на python35 - в логе абсолютно то же.

Answer 1

[sim3x]

Заведи пользователя
Заведи ему директорию в /home
Положи все там
В uwsgi укажи от какого пользователя нужно запускать

Чтоб использовать plugins=python3 нужно поставить uwsgi-plugin-python3

Comments

[Илья Ерохин]

Как повлияет на проблему работа под пользователем?

Плагин стоит:
> uwsgi-plugin-python3 is already the newest version (2.0.12-5ubuntu3).

[sim3x]

Илья Ерохин:
причина явно где-то в нем
stackoverflow.com/questions/16272542/uwsgi-fails-w...

Попробуй убрать настройку из конфига и запустить uwsgi

[Илья Ерохин]

sim3x: Я уже пытался применять решения оттуда, и много еще всяких других. Не помогает. И я не могу установить сам факт использования плагина python3. Попробую детализировать лог uwsgi.

> Попробуй убрать настройку из конфига и запустить uwsgi
Какую конкретно настройку?

[sim3x]

Илья Ерохин:
убрать вот ету строку
plugins=python3

[Илья Ерохин]

sim3x:
Ничего не поменялось.

# cat /etc/uwsgi/apps-enabled/vek.ini 
[uwsgi]
chdir=/srv/vek/django
module=vek.wsgi:application
home=/root/.virtualenvs/vek/bin/python

# service uwsgi restart 

# tail -f /var/log/uwsgi/app/vek.log 
...
Thu Jun 23 18:04:26 2016 - *** Starting uWSGI 2.0.12-debian (64bit) on [Thu Jun 23 18:04:26 2016] ***
Thu Jun 23 18:04:26 2016 - compiled with version: 5.3.1 20160412 on 13 April 2016 08:36:06
Thu Jun 23 18:04:26 2016 - os: Linux-4.4.0-24-generic #43-Ubuntu SMP Wed Jun 8 19:27:37 UTC 2016
Thu Jun 23 18:04:26 2016 - nodename: vek-dverey.ru
Thu Jun 23 18:04:26 2016 - machine: x86_64
Thu Jun 23 18:04:26 2016 - clock source: unix
Thu Jun 23 18:04:26 2016 - pcre jit disabled
Thu Jun 23 18:04:26 2016 - detected number of CPU cores: 1
Thu Jun 23 18:04:26 2016 - current working directory: /
Thu Jun 23 18:04:26 2016 - writing pidfile to /run/uwsgi/app/vek/pid
Thu Jun 23 18:04:26 2016 - detected binary path: /usr/bin/uwsgi-core
Thu Jun 23 18:04:26 2016 - setgid() to 33
Thu Jun 23 18:04:26 2016 - setuid() to 33
Thu Jun 23 18:04:26 2016 - chdir() to /srv/vek/django
Thu Jun 23 18:04:26 2016 - your processes number limit is 3912
Thu Jun 23 18:04:26 2016 - your memory page size is 4096 bytes
Thu Jun 23 18:04:26 2016 - detected max file descriptor number: 1024
Thu Jun 23 18:04:26 2016 - lock engine: pthread robust mutexes
Thu Jun 23 18:04:26 2016 - thunder lock: disabled (you can enable it with --thunder-lock)
Thu Jun 23 18:04:26 2016 - uwsgi socket 0 bound to UNIX address /run/uwsgi/app/vek/socket fd 3
Thu Jun 23 18:04:26 2016 - Python version: 3.5.1+ (default, Mar 30 2016, 22:46:26)  [GCC 5.3.1 20160330]
Thu Jun 23 18:04:26 2016 - Set PythonHome to /root/.virtualenvs/vek/bin/python
Fatal Python error: Py_Initialize: Unable to get the locale encoding
ImportError: No module named 'encodings'

Current thread 0x00007f0e33afd780 (most recent call first):

[Илья Ерохин]

Продолжая тему убирания строчек - см. апдейт поста жирным шрифтом:

UPD!!!: Убрал строчку
home=/root/.virtualenvs/vek/bin/python
и все заработало. В крайнем случае буду использовать голобальное окружение Питона, но в чем же все-таки проблема?

Проблема в том что не может зацепить мой virtualenv

[Илья Ерохин]

Илья Ерохин: /root имеет права доступа drwx------, а uwsgi демонизируется с правами от юзера www-data, кажется все понятно, сейчас проверю.

[sim3x]

Илья Ерохин:

проблема в том, что запускать от рута плохо
также как и располагать виртуаленв в домашней директории рута

[Илья Ерохин]

sim3x:

> проблема в том, что запускать от рута плохо

От рута стандартные системные сетевые сервисы не запускаются. Nginx и uwsgi запускаются от www-data

> также как и располагать виртуаленв в домашней директории рута

По умолчанию virtualenvwrapper располагает virtualenv в домашней директории юзера, на сервере я работаю под рутом, так что все логично. Мне удобней использовать именно vitrualenvwrapper, а не virtualenv, в том числе и потому что думать не надо где физически лежат текущие env.

Но проблема не в этом - я попробовал другой virtualenv, вне каталога рута, и это не решило проблему. В общем я забил и буду использовать глобальный Python, благо на этом сервере один проект, который постепенно переезжает на Ноду. Но выловить ошибку все равно было бы интересно.

[Pan Propan]

sim3x:

проблема в том, что запускать от рута плохо
также как и располагать виртуаленв в домашней директории рута

Я из за этого несколько часов возился с настройкой Nginx+Django+Gunicorn.
Как поставил в другой каталог, сразу взлетело.

[holodoz]

Потратил несколько часов на эту ошибку из под рута, настроил с нерутовым пользователем и другим каталогом за пять минут, sim3x, спасибо!

Answer 2

[IRIP]

а где убрал строчку

home=/root/.virtualenvs/vek/bin/python