Django и PostgreSQL: Что делать с django.db.utils.ProgrammingError?

Question

[AntonIgin]

Написал проект на SQLite3 и решил настроить его на PostgreSQL, внеся в настройки следующее:

DATABASES = {
'default': {
'ENGINE': 'django.db.backends.postgresql_psycopg2', # Add 'postgresql_psycopg2', 'mysql', 'sqlite3' or 'oracle'.
'NAME': 'company_base', # Or path to database file if using sqlite3.
'USER': 'postgres', # Not used with sqlite3.
'PASSWORD': 'postgres', # Not used with sqlite3.
'HOST': 'localhost', # Set to empty string for localhost. Not used with sqlite3.
'PORT': '5432', # Set to empty string for default. Not used with sqlite3.
}
}

Установил psycopg:
pip install psycopg2

После того, как ввожу python3 manage.py migrate, выдает трейсбек, указанный ниже. Странный факт: если закоммитить приложение в Installed_apps, миграция пройдет нормально, но ошибка возвращается, стоит включить приложение обратно. С SQLite3 никаких проблем нет.

Трейсбек:

Traceback (most recent call last):
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/backends/utils.py", line 65, in execute
    return self.cursor.execute(sql, params)
psycopg2.ProgrammingError: relation "main_app_sector" does not exist
LINE 1: ...n_app_sector"."id", "main_app_sector"."name" FROM "main_app_...
                                                             ^


The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "manage.py", line 22, in <module>
    execute_from_command_line(sys.argv)
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/core/management/__init__.py", line 364, in execute_from_command_line
    utility.execute()
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/core/management/__init__.py", line 338, in execute
    django.setup()
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/__init__.py", line 27, in setup
    apps.populate(settings.INSTALLED_APPS)
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/apps/registry.py", line 116, in populate
    app_config.ready()
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/contrib/admin/apps.py", line 23, in ready
    self.module.autodiscover()
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/contrib/admin/__init__.py", line 26, in autodiscover
    autodiscover_modules('admin', register_to=site)
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/utils/module_loading.py", line 50, in autodiscover_modules
    import_module('%s.%s' % (app_config.name, module_to_search))
  File "/home/anton/virtenvs/com_env/lib/python3.5/importlib/__init__.py", line 126, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 986, in _gcd_import
  File "<frozen importlib._bootstrap>", line 969, in _find_and_load
  File "<frozen importlib._bootstrap>", line 958, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 673, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 665, in exec_module
  File "<frozen importlib._bootstrap>", line 222, in _call_with_frames_removed
  File "/home/anton/Django-u/company_base/main_app/admin.py", line 3, in <module>
    from .forms import *
  File "/home/anton/Django-u/company_base/main_app/forms.py", line 28, in <module>
    class ProfileFilterForm(forms.Form):
  File "/home/anton/Django-u/company_base/main_app/forms.py", line 30, in ProfileFilterForm
    sector = forms.ChoiceField(label='Отдел', required=False, choices=build_sectors_list(), widget=forms.Select(attrs={'name':'sector', 'style':'selector_element',}))
  File "/home/anton/Django-u/company_base/main_app/forms.py", line 18, in build_sectors_list
    for i in sectors:
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/models/query.py", line 250, in __iter__
    self._fetch_all()
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/models/query.py", line 1118, in _fetch_all
    self._result_cache = list(self._iterable_class(self))
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/models/query.py", line 53, in __iter__
    results = compiler.execute_sql(chunked_fetch=self.chunked_fetch)
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/models/sql/compiler.py", line 894, in execute_sql
    raise original_exception
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/models/sql/compiler.py", line 884, in execute_sql
    cursor.execute(sql, params)
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/backends/utils.py", line 80, in execute
    return super(CursorDebugWrapper, self).execute(sql, params)
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/backends/utils.py", line 65, in execute
    return self.cursor.execute(sql, params)
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/utils.py", line 94, in __exit__
    six.reraise(dj_exc_type, dj_exc_value, traceback)
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/utils/six.py", line 685, in reraise
    raise value.with_traceback(tb)
  File "/home/anton/virtenvs/com_env/lib/python3.5/site-packages/django/db/backends/utils.py", line 65, in execute
    return self.cursor.execute(sql, params)
django.db.utils.ProgrammingError: relation "main_app_sector" does not exist
LINE 1: ...n_app_sector"."id", "main_app_sector"."name" FROM "main_app_...

Comments

[Anton Kuzmichev]

У вас что-то с самими миграциями.

С SQLite3 никаких проблем нет.

Ой не факт, скорее всего, если вы попробуете сделать migrate с нуля в чистую БД sqlite, то будет то же самое.
Удалите все миграции из приложений вашего проекта, сделайте их заново.

[AntonIgin]

Anton Kuzmichev, и правда, на чистом sqlite3 тоже есть ошибка.

Дело в этой функции из forms.py

def build_sectors_list():
sectors = Sector.objects.all()
choices = [('all', 'Все отделы')]
for i in sectors:
choices.append((i.pk, i.name))
return choices

Сейчас вспомнил, что у меня была уже похожая проблема с другим проектом и я создавал вопрос:
https://stackoverflow.com/questions/42024101/probl...

Сейчас я решил проблему такой заплаткой:
def build_sectors_list():
choices = [('all', 'Все отделы')]
if 'makemigrations' not in sys.argv and 'migrate' not in sys.argv:
sectors = Sector.objects.all()
for i in sectors:
choices.append((i.pk, i.name))
return choices

В общем, спасибо, что подсказали попробовать с SQLite3.

[Anton Kuzmichev]

AntonIgin, лютый костыль)

[AntonIgin]

Anton Kuzmichev, я тоже об этом подумал, когда увидел. Эталонный практически, но работает. :)

[Anton Kuzmichev]

Эталонный практически, но работает. :)

AntonIgin, возьмите за правило - не работать в коде с моделями в тех местах, которые могут выполняться при инициализации движка, импортах.
Ваша функция build_sectors_list, готов поспорить, вызывается не в конструкторе формы, а при описании класса самой формы, т.е. когда python импортирует этот файл и выполняет его - происходит обращение к моделям.
А по вашей ссылке на SO вы тупо после импортов в py-файле начинаете работать с моделями.
Не надо так.

[AntonIgin]

Anton Kuzmichev, а как тогда в choices поля формы запихнуть объекты модели Sector?

[Anton Kuzmichev]

AntonIgin, ну есть методы. В конструкторе формы, например. Классическое гугление чего-то типа "django form choices init"
Вы поймите, что ваш костыль рабочим назвать нельзя хотя бы потому, что вы при инициализации движка заполняете choices, но они же могут меняться в ходе работы сайта. Движок/веб-сервер перезагружать надо будет, чтобы актуализировать.

[AntonIgin]

Anton Kuzmichev, допустим, вот форма:

class ProfileFilterForm(forms.Form):
	available = forms.BooleanField(label = 'Работают в компании', required=False, widget=forms.CheckboxInput(attrs={'name':'available', 'value':'1','style':'selector_element',}))
	sector = forms.ChoiceField(label='Отдел', required=False, choices=build_sectors_list(), widget=forms.Select(attrs={'name':'sector', 'style':'selector_element',}))

А вот функция, описанная в начале скрипта:

def build_sectors_list():
	choices = [('all', 'Все отделы')]
	if 'makemigrations' not in sys.argv and 'migrate' not in sys.argv:
		sectors = Sector.objects.all()
		for i in sectors:
			choices.append((i.pk, i.name))
	return choices

Как пофиксить баг, не прибегая к костылю?

[AntonIgin]

Anton Kuzmichev, в общем, оказалось, что надо создать в форме __init__, то есть класс должен выглядеть так:

class ProfileFilterForm(forms.Form):
	def __init__(self, *args, **kwargs):
		choices = [('all', 'Все отделы')]
		sectors = Sector.objects.all()
		for i in sectors:
			choices.append((i.pk, i.name))
		self.fields['sector'].choices=choices

	available = forms.BooleanField(label = 'Работают в компании', required=False, \
		widget=forms.CheckboxInput(attrs={'name':'available', 'value':'1','style':'selector_element',}))
	sector = forms.ChoiceField(label='Отдел', required=False, \
			widget=forms.Select(attrs={'name':'sector', 'style':'selector_element',}))

Корректно?

[Anton Kuzmichev]

AntonIgin, точно так.

[AntonIgin]

Anton Kuzmichev, не очень понимаю, почему при использовании модели в __init__ ошибки не возникает.

[Anton Kuzmichev]

AntonIgin, потому что экземпляры форм инстанцируются уже после запуска джанги, когда вы или сама джанга их использует. А изначальный ваш код внаглую выполнялся при прочитывании интерпретатором файла и построении класса формы.
Есть распространённая ошибка, с которой в процессе изучения питона сталкиваются почти все. Возьмём простейшую django-модель с одним полем, типа datetime.
Сниппет №1:

from django.utils import timezone
...
class MyModel(models.Model):
    field = models.DateTimeField(verbose_name='Date and Time', default=timezone.now)

Сниппет №2:

from django.utils import timezone
...
class MyModel(models.Model):
    field = models.DateTimeField(verbose_name='Date and Time', default=timezone.now())

Найдите одно отличие и скажите, в чём оно заключается и что будет происходить при создании экземпляров модели MyModel в каждом из этих двух случаев.

[AntonIgin]

Anton Kuzmichev, во втором случае default=timezone.now() выполняет функцию. В первом случае не уверен, но думаю, что default копирует в себя код метода timezone.now.

Answer 1

[Igor Fedun]

Целый ряд ошибок:
1. Если ты создал виртуальную среду то зачем вводить python3 manage.py migrate, можно просто python manage.py migrate
2. Смотри что ты прописал в моделях, проблема в связях.
3. makemigrations надеюсь выполнил?

>> "main_app_sector" - именно эту смотри запись