Reloading models в Django?

Question

[Rostislav Biloshapka]

Имел ли кто-то дело с "Reloading models" в Django?
сейчас делаю через metaclass в функции(

нормально так делать? к сожалению не было такой практики, а сейчас очень много табл. с одинаковой структурой, которые отличает префикс определенного региона.

к сожалению partition использовать не могу.

как лучше сделать в таком случае?

Comments

[sim3x]

Опишите задачу

Что такое "много таблиц"?
Зачем префиксы?

[spaceatmoon]

Префиксы к таблицам которые являются разными объектами со схожей структурой это нормально.

[sim3x]

spaceatmoon, Для разных обьектов не требуется городить такой огород
Там одна модель === одна таблица

[Rostislav Biloshapka]

sim3x, есть таблицы region _ * _ data (вместо "*" - id региона) таких таблиц - 25, они сделаны для того, чтобы уменьшить нагрузку на табл. потому что если бы была общая, то не выдержала бы такой нагрузки как сейчас. Делать 25 моделей как по мне - плохая идея, так как менять что-то придется во всех моделях. Вариант с одной табл. не годится. Поэтому я и делал "Reloading models", но не знаю правильно ли так делать и какие могут быть последствия.

таблицы сделаны вручную.

[Rostislav Biloshapka]

sim3x, все табл. одинаковые, только название отличается region _ * _ data (вместо "*" - id региона)

[sim3x]

Rostislav Biloshapka,

не выдержала бы такой нагрузки как сейчас

сколько Тб у вас сейчас в данной таблице?

таблицы сделаны вручную.

зачем?

[Rostislav Biloshapka]

sim3x,
сколько Тб у вас сейчас в данной таблице?
там зависит все от числа записей в табл., так как по большей части полей идет разная фильтрация, во время тестов БД загибалась, поэтому и было принято решение разбить на 25 табл. я не знаю сколько они сейчас весят.

зачем?
таблицы сделаны вручную, потому что за ними смотрит специалист по БД, который и делал архитектуру базы.
я к сожалению не могу делать там какие-то изменения без согласия с ним, такая архитектура уже утверждена и я изменить ее не могу.

[sim3x]

Rostislav Biloshapka,

Если кто-то сделал такую архитектуру, то он и должен вам ответить, как ее использовать

Сейчас есть подозрение, что "спец" совсем не спец

0. В часности, как реализованы FK/M2M от и к данным таблицам
1. Сколько там реально данных, что простейшая фильтрация по инт полю там убивает СУБД
2. Какое железо

Потому что решать костылями архитектурные ошибки - ни к чему хорошему не приведет
+ Решение делать на джанго только маппинг без миграций, нууу очень сомнительное и требует хорошей квалификации и синхронизации от DBA и питонера

[spaceatmoon]

sim3x, иногда не хочется делать лишний where а работать сразу с нужной таблицей. ( ͡° ͜ʖ ͡°)
Гемор, не спорю, но иногда оправдано.

[Rostislav Biloshapka]

sim3x,

Если кто-то сделал такую архитектуру, то он и должен вам ответить, как ее использовать

он специалист по БД) я хотел услышать здесь ответ можно ли делать в Django "Reloading models", то есть, чтобы я в одной модели мог использовать все табл., и как лучше это делать)

Сейчас есть подозрение, что "спец" совсем не спец

спец норм, у него более 20 лет опыта с БД, и построил архитектурные решения в хороших проектах

0. В часности, как реализованы FK/M2M от и к данным таблицам

здесь долго объяснять) но если нужно, то могу описать

1. Сколько там реально данных, что простейшая фильтрация по инт полю там убивает СУБД

фильтрация по нескольким полям, 3 поля TINYINT (4), 11 полей INT (11), 2 поля DATETIME
фильтрация с операторами "=", "! =", "<=", "> =" + иногда группировки

2. Какое железо

4 vCPU
16 ГБ RAM
160 ГБ Disk space
20 ТБ Traffic

сейчас я делаю так:

def get_test_data_model(prefix):
    db_table_name = 'region_' + str(int(prefix)) + '_data'

    class TestDataMetaClass(models.base.ModelBase):
        def __new__(cls, name, bases, attrs):
            name += db_table_name
            return models.base.ModelBase.__new__(cls, name, bases, attrs)

    # region_*_data
    class TestData(models.Model):
        __metaclass__ = TestDataMetaClass
    ...........

        class Meta:
            app_label = db_table_name
            db_table = db_table_name
            verbose_name = 'Test' + str(int(prefix)) + 'Data'
            verbose_name_plural = 'Test' + str(int(prefix)) + 'Data'

    return TestData

[sim3x]

Rostislav Biloshapka,

спец норм, у него более 20 лет опыта с БД, и построил архитектурные решения в хороших проектах

Значит он должен знать как использовтаь его подход
Я вам очень советую подойти к нему с данным вопросом

фильтрация по нескольким полям, 3 поля TINYINT (4), 11 полей INT (11), 2 поля DATETIME
фильтрация с операторами "=", "! =", "<=", "> =" + иногда группировки

группировка - проблема. Все остальное - не должно вообще создать проблем
Более того, разделение на подтаблицы снимет 1/16 проблемы

str(int(prefix))очень стремно, такое впечатление, что префикс еще откуда-то с клиента приезжает.
Сделайте tuple / named tuple со списком своих регионов и бросайте ексепшен, если региона нет в данном tuple

Про модели
Не уверен в работоспособности решения
Даже не представляю, как такое тестировать

0. Замапить все таблицы + Model.managed= False
1. https://stackoverflow.com/a/33662482

import importlib

MyRegion = importlib.import_module('region' + str(int(prefix)))

[Rostislav Biloshapka]

sim3x,
Более того, разделение на подтаблицы снимет 1/16 проблемы
для каждой табл (region _ * _ data) есть еще подтаблицы (16 шт.) с другими характеристиками) все запросы летают) никаких проблем нет

str(int(prefix))очень стремно, такое впечатление, что префикс еще откуда-то с клиента приезжает.
к сожалению да, с клиента приходят

Сделайте tuple / named tuple со списком своих регионов и бросайте ексепшен, если региона нет в данном tuple
это все я в view уже делаю)

Про модели
Не уверен в работоспособности решения
Даже не представляю, как такое тестировать

работает все хорошо, но меня такое решение немного смущает, поэтому и поднял этот вопрос, потому что нигде не нашел информации
работает так же как и обычная модель)

[FulTupFul]

(TL;DR) Есть опыт партиционирования таблиц. с джангой все отлично работает. Нужно только ручками убрать внешние foreign key

[Rostislav Biloshapka]

FulTupFul, к сожалению partition использовать не могу, только табл. с различными префиксами вида region _ * _ data (вместо "*" - id региона) + есть еще подтаблицы (16 шт.) с такими же префиксами