Как разбить длинную миграцию данных на несколько транзакций?

sim3x, 47Gb
если это немного для задачи, то допустим, что всё-таки много ;)

Как представить time series data если используется ORM?

Модель в джанге не означает бизнес логику, она означает именно по сути таблицу в БД.

Наверное вы правы. Так и сделаю. Единственное в ChangeOptions сохраню еще и текущее значение (так удобнее).

Как представить time series data если используется ORM?

Pavel Denisov, Про contenttypes понял - это типа динамически типизированный ForeignKey, но точно не мой случай. Всё же остановлюсь на варианте (а). Спасибо.

Как представить time series data если используется ORM?

Pavel Denisov,
a) - ну это вариант, который я описал - и который мне не нравится
б) - не подойдет, мало чем отличается от (a), только данные дублируются. Может где и полезно, но не в моем случае.
в) хранение в json - уже интересней, наверное мой вариант. Единственное, что не нравится - придется грузить в память весь ряд изменений, независимо от того, что мне нужен лишь диапазон. И это может быть критично, так как данных много и они часто будут обновляться.
г) - а вот тут не понятно. Можно подробней?

Имеет ли смысл использовать models.CharField, если у меня Postgres?

Сергей Горностаев, вы правы.
Это в быстродействии они не отличаются (в отличие от MySQL), а так конечно varchar и text - разные типы. Почему-то со временем эти знания у меня исказились ((

Имеет ли смысл использовать models.CharField, если у меня Postgres?

спасибо, но все-таки спрошу: а зачем?

Как оптимально хранить исторические данные записей таблицы?

a, b, и c - это разные поля. В entity_history планируется хранить старые версии записей в entity.

Как оптимально хранить исторические данные записей таблицы?

sidni, не понял вас

Почему runserver не работает через django-admin, хотя работает через manage.py?

Максим, эффекта 0. Но все равно большое вам спасибо!
Через django-admin.EXE так и не запустил, а вот через умалчиваемый в доках версии >=1.8 старый добрый django-admin.PY всё ОК!
Ниже отписался о решении.

Почему runserver не работает через django-admin, хотя работает через manage.py?

Максим, Win7 32bit / Python 3.6.3 / Django 1.11.11

Актуальные книги по программировании на android?

Книга хорошая, но устарела. Есть уже 3-е издание - https://www.ozon.ru/context/detail/id/136792911/
тем более, что один из авторов это Кристен Стюарт (актриса из Сумерок). Пруф по указанной ссылке))

Почему runserver не работает через django-admin, хотя работает через manage.py?

Stanislav Pugachev,
django-admin.exe runserver --settings=config.settings.dev --pythonpath="{путь к mysite}"
или
python -m django runserver --settings=config.settings.dev --pythonpath="{путь к mysite}"

Вывод (указывал выше):

Traceback

Traceback (most recent call last):
  File "F:\projects\mysite\.venv\lib\site-packages\django\core\management\__init__.py", line 318, in execute
    autoreload.check_errors(django.setup)()
  File "F:\projects\mysite\.venv\lib\site-packages\django\utils\autoreload.py", line 228, in wrapper
    fn(*args, **kwargs)
  File "F:\projects\mysite\.venv\lib\site-packages\django\__init__.py", line 18, in setup
    from django.urls import set_script_prefix
  File "F:\projects\mysite\.venv\lib\site-packages\django\urls\__init__.py", line 1, in <module>
    from .base import (
  File "F:\projects\mysite\.venv\lib\site-packages\django\urls\base.py", line 11, in <module>
    from .exceptions import NoReverseMatch, Resolver404
  File "F:\projects\mysite\.venv\lib\site-packages\django\urls\exceptions.py", line 3, in <module>
    from django.http import Http404
  File "F:\projects\mysite\.venv\lib\site-packages\django\http\__init__.py", line 1, in <module>
    from django.http.cookie import SimpleCookie, parse_cookie
  File "F:\projects\mysite\.venv\lib\site-packages\django\http\cookie.py", line 7, in <module>
    from django.utils.six.moves import http_cookies
  File "F:\projects\mysite\.venv\lib\site-packages\django\utils\six.py", line 92, in __get__
    result = self._resolve()
  File "F:\projects\mysite\.venv\lib\site-packages\django\utils\six.py", line 115, in _resolve
    return _import_module(self.mod)
  File "F:\projects\mysite\.venv\lib\site-packages\django\utils\six.py", line 82, in _import_module
    __import__(name)
  File "F:\projects\mysite\.venv\lib\site-packages\django\http\__init__.py", line 1, in <module>
    from django.http.cookie import SimpleCookie, parse_cookie
ImportError: cannot import name 'SimpleCookie'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "F:\projects\mysite\.venv\lib\site-packages\django\__main__.py", line 9, in <module>
    management.execute_from_command_line()
  File "F:\projects\mysite\.venv\lib\site-packages\django\core\management\__init__.py", line 364, in execute_from_command_line
    utility.execute()
  File "F:\projects\mysite\.venv\lib\site-packages\django\core\management\__init__.py", line 331, in execute
    _parser = self.fetch_command('runserver').create_parser('django', 'runserver')
  File "F:\projects\mysite\.venv\lib\site-packages\django\core\management\__init__.py", line 206, in fetch_command
    klass = load_command_class(app_name, subcommand)
  File "F:\projects\mysite\.venv\lib\site-packages\django\core\management\__init__.py", line 40, in load_command_class
    module = import_module('%s.management.commands.%s' % (app_name, name))
  File "C:\Python36\lib\importlib\__init__.py", line 126, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 994, in _gcd_import
  File "<frozen importlib._bootstrap>", line 971, in _find_and_load
  File "<frozen importlib._bootstrap>", line 955, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 665, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 678, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "F:\projects\mysite\.venv\lib\site-packages\django\core\management\commands\runserver.py", line 12, in <module>
    from django.core.servers.basehttp import (
  File "F:\projects\mysite\.venv\lib\site-packages\django\core\servers\basehttp.py", line 15, in <module>
    from wsgiref import simple_server
  File "C:\Python36\lib\wsgiref\simple_server.py", line 13, in <module>
    from http.server import BaseHTTPRequestHandler, HTTPServer
  File "F:\projects\mysite\.venv\lib\site-packages\django\http\__init__.py", line 1, in <module>
    from django.http.cookie import SimpleCookie, parse_cookie
  File "F:\projects\mysite\.venv\lib\site-packages\django\http\__init__.py", line 1, in <module>
    from django.http.cookie import SimpleCookie, parse_cookie
  File "F:\projects\mysite\.venv\lib\site-packages\django\http\cookie.py", line 7, in <module>
    from django.utils.six.moves import http_cookies
  File "F:\projects\mysite\.venv\lib\site-packages\django\utils\six.py", line 92, in __get__
    result = self._resolve()
  File "F:\projects\mysite\.venv\lib\site-packages\django\utils\six.py", line 115, in _resolve
    return _import_module(self.mod)
  File "F:\projects\mysite\.venv\lib\site-packages\django\utils\six.py", line 82, in _import_module
    __import__(name)
ModuleNotFoundError: No module named 'http.cookies'

Почему runserver не работает через django-admin, хотя работает через manage.py?

Вы правы. Нет никакой необходимости не использовать manage.py.
Мною движет желание разобраться - почему не работает функционал, описанный в документации:

Generally, when working on a single Django project, it’s easier to use manage.py than django-admin. If you need to switch between multiple Django settings files, use django-admin with DJANGO_SETTINGS_MODULE or the --settings command line option.
-- https://docs.djangoproject.com/en/1.11/ref/django-... --

Что я делаю не так?

Как обычно поступают с миграциями Django, если схема БД шире и используется другими приложениями?

Спасибо. Я просто зарылся в доки постгреса (столько там всего) и пытаюсь понять как уживаются эти два мира. С одной стороны богатейший функционал PG, что называется ближе к данным, а с другой - Django ORM, делающий всё чтобы я забыл про особенности, читай возможности, PG.

Как обычно поступают с миграциями Django, если схема БД шире и используется другими приложениями?

А как насчет особенностей СУБД? Разработчики ОРМ не могли же предусмотреть все особенности того же постгрес. И в итоге makemigrations генерит не самый подходящий скрипт миграции. А все эти механизмы постгреса как check,triggers,functuons,view - за бортом?

Как обычно поступают с миграциями Django, если схема БД шире и используется другими приложениями?

@rSedoy
Поток данных
[сторонний внешний ресурс] -> [часть 2 собирает данные по api и, обработав, пихает их в БД] <-> [БД] -> [часть 1 т.е. джанга отображает данные юзеру]

При этом [часть 2] иногда читает данные из БД для обработки вновь поступающих данных

Как обычно поступают с миграциями Django, если схема БД шире и используется другими приложениями?

sim3x спасибо, что помогаете.
Я совсем еще новичок в джанге, но слышал как опытные разработчики отказываются от миграций средствами джанги и пишут DDL-скрипты сами.
Также интересна ситуация, когда уже есть огромная работающая система и джанга приходит туда позже для реализации какого-нибудь дашборда. Как же тут поступают матерые веб-разработчики?

А по джанго коммандс - я как понял это возможность расширять арсенал manage.py своими командами.

Как обычно поступают с миграциями Django, если схема БД шире и используется другими приложениями?

Даже если придется переписать то приложение с другого ЯП

- это не выглядит универсальным решением. Как поступают те, кто переписывать отлаженный код не намерен?
Как-то странно пихать это приложение в папку с джангой, описывать там модели, которые не будут использоваться.

Нужна ли здесь связь 1:1 вместо расширения таблицы?

Уважаемый mindtester, своим умом блистать я не пытался. Я задал вопрос и ваш коллега Евгений Калибров убедил меня "не бояться джойна". Маловероятно, что PG будет полностью джойнить таблицы. Скорее он это сделает в конце после всех where, order by, limit, что вряд ли окажется узким местом при limit = 50.
Безусловно что-то может пойти не так и я последую вашему совету.
Спасибо, что вызвались мне помочь.

Нужна ли здесь связь 1:1 вместо расширения таблицы?

Ответ Евгений Калибров не лишен смысла.
Я исхожу из совета нормализовывать бд по-максимуму, а уже потом при тесте или росте нагрузки думать об оптимизациях.