Создать таблицу базы данных postgresql из json файла?

Question

[pokanoobpython]

Мне нужно создать эффективную таблицу из обычного json. У меня есть входные данные в виде json я должен их обработать, сохранить в базе данных. Потом при GET запросе должен вернуть данные из бд в виде json. Мне бы пока с первым разобраться. Данные json это просто ананлог хранения файлов.

IMPORT_BATCHES = [
    {
        "items": [
            {
                "type": "FOLDER",
                "id": "069cb8d7-bbdd-47d3-ad8f-82ef4c269df1",
                "parentId": None
            }
        ],
        "updateDate": "2022-02-01T12:00:00Z"
    },
    {
        "items": [
            {
                "type": "FOLDER",
                "id": "d515e43f-f3f6-4471-bb77-6b455017a2d2",
                "parentId": "069cb8d7-bbdd-47d3-ad8f-82ef4c269df1"
            },
            {
                "type": "FILE",
                "url": "/file/url1",
                "id": "863e1a7a-1304-42ae-943b-179184c077e3",
                "parentId": "d515e43f-f3f6-4471-bb77-6b455017a2d2",
                "size": 128
            },
            {
                "type": "FILE",
                "url": "/file/url2",
                "id": "b1d8fd7d-2ae3-47d5-b2f9-0f094af800d4",
                "parentId": "d515e43f-f3f6-4471-bb77-6b455017a2d2",
                "size": 256
            }
        ],
        "updateDate": "2022-02-02T12:00:00Z"
    },
    {
        "items": [
            {
                "type": "FOLDER",
                "id": "1cc0129a-2bfe-474c-9ee6-d435bf5fc8f2",
                "parentId": "069cb8d7-bbdd-47d3-ad8f-82ef4c269df1"
            },
            {
                "type": "FILE",
                "url": "/file/url3",
                "id": "98883e8f-0507-482f-bce2-2fb306cf6483",
                "parentId": "1cc0129a-2bfe-474c-9ee6-d435bf5fc8f2",
                "size": 512
            },
            {
                "type": "FILE",
                "url": "/file/url4",
                "id": "74b81fda-9cdc-4b63-8927-c978afed5cf4",
                "parentId": "1cc0129a-2bfe-474c-9ee6-d435bf5fc8f2",
                "size": 1024
            }
        ],
        "updateDate": "2022-02-03T12:00:00Z"
    },
    {
        "items": [
            {
                "type": "FILE",
                "url": "/file/url5",
                "id": "73bc3b36-02d1-4245-ab35-3106c9ee1c65",
                "parentId": "1cc0129a-2bfe-474c-9ee6-d435bf5fc8f2",
                "size": 64
            }
        ],
        "updateDate": "2022-02-03T15:00:00Z"
    }
]

Что должно получиться в базе данных

EXPECTED_TREE = {
    "type": "FOLDER",
    "id": "069cb8d7-bbdd-47d3-ad8f-82ef4c269df1",
    "size": 1984,
    "url": None,
    "parentId": None,
    "date": "2022-02-03T15:00:00Z",
    "children": [
        {
            "type": "FOLDER",
            "id": "1cc0129a-2bfe-474c-9ee6-d435bf5fc8f2",
            "parentId": "069cb8d7-bbdd-47d3-ad8f-82ef4c269df1",
            "size": 1600,
            "url": None,
            "date": "2022-02-03T15:00:00Z",
            "children": [
                {
                    "type": "FILE",
                    "url": "/file/url3",
                    "id": "98883e8f-0507-482f-bce2-2fb306cf6483",
                    "parentId": "1cc0129a-2bfe-474c-9ee6-d435bf5fc8f2",
                    "size": 512,
                    "date": "2022-02-03T12:00:00Z",
                    "children": None,
                },
                {
                    "type": "FILE",
                    "url": "/file/url4",
                    "id": "74b81fda-9cdc-4b63-8927-c978afed5cf4",
                    "parentId": "1cc0129a-2bfe-474c-9ee6-d435bf5fc8f2",
                    "size": 1024,
                    "date": "2022-02-03T12:00:00Z",
                    "children": None
                },
                {
                    "type": "FILE",
                    "url": "/file/url5",
                    "id": "73bc3b36-02d1-4245-ab35-3106c9ee1c65",
                    "parentId": "1cc0129a-2bfe-474c-9ee6-d435bf5fc8f2",
                    "size": 64,
                    "date": "2022-02-03T15:00:00Z",
                    "children": None
                }
            ]
        },
        {
            "type": "FOLDER",
            "id": "d515e43f-f3f6-4471-bb77-6b455017a2d2",
            "parentId": "069cb8d7-bbdd-47d3-ad8f-82ef4c269df1",
            "size": 384,
            "url": None,
            "date": "2022-02-02T12:00:00Z",
            "children": [
                {
                    "type": "FILE",
                    "url": "/file/url1",
                    "id": "863e1a7a-1304-42ae-943b-179184c077e3",
                    "parentId": "d515e43f-f3f6-4471-bb77-6b455017a2d2",
                    "size": 128,
                    "date": "2022-02-02T12:00:00Z",
                    "children": None
                },
                {
                    "type": "FILE",
                    "url": "/file/url2",
                    "id": "b1d8fd7d-2ae3-47d5-b2f9-0f094af800d4",
                    "parentId": "d515e43f-f3f6-4471-bb77-6b455017a2d2",
                    "size": 256,
                    "date": "2022-02-02T12:00:00Z",
                    "children": None
                }
            ]
        },
    ]
}

Не понятно какую таблицу со связи друг с другом создать чтобы все хранилось правильно

Comments

[Dimonchik]

пиши первый вопрос, как бы ты создал таблицу и поля, но вот именно вот это непонятно как

[Ипатьев]

что такое "эффективная таблица"?

[ininth]

Если я правильно понял вопрос, нужна обычная таблица со столбцами type, id, size, url, parentId, date. У корневых узлов parentid будет пустым, у дочерних - указывать на родительские, чем и обеспечится иерархия.

[pokanoobpython]

Ипатьев,Ну таблица которая будет хранить данные в правильно виде. Я создал таблицу. Но думаю что связи не очень хорошо реализованы.
Вот

class Folders(Base):
    __tablename__ = "Folders"

    type: str = Column(String)
    id: int = Column(Integer, ForeignKey("Files.id"), primary_key=True)
    parent_id: int = Column(String, nullable=True)
    url: str = Column(String(255), nullable=True)
    date = Column(TIMESTAMP, server_default=func.now(), onupdate=func.current_timestamp())


class Files(Base):
    __tablename__ = "Files"

    type: str = Column(String)
    url: str = Column(String(255), nullable=True)
    id: int = Column(Integer, nullable=False, primary_key=True)
    parent_id: int = Column(Integer, ForeignKey('Folders.id'))
    size: int = Column(Integer, nullable=True)
    date = Column(TIMESTAMP)

[pokanoobpython]

Dr. Bacon, Да, но именно как реализовать систему файлов и папок в бд не понимаю как ее сделать

[Ипатьев]

ну у вас всё правильно реализовано, самый главный момент - это наличие parent_id
только непонятно, зачем это поле в таблице с файлами. ну или точнее его надо назвать folder_id

[Ипатьев]

Можно, кстати, и одну таблицу сделать, добавив в неё признак файл/папка

[pokanoobpython]

Dr. Bacon, Извините что запутал вас

[pokanoobpython]

Ипатьев, и в этом случае не нужно будет делать ни каких связей я так понял, правильно?

[Ипатьев]

в каком смысле "не нужно будет"? Как можно обойтись без связей? Просто связь будет с той же таблицей

[pokanoobpython]

Ипатьев, Я просто не понимаю какие связи сделать. И еще стоит вопрос по дате обновления. Как с этим быть
при обновлении параметров элемента обязательно обновляется поле date в соответствии с временем обновления

[Ипатьев]

господи, да связь уже есть. это parent_id
какие проблемы с этим?

зачем, кстати, ForeignKey("Files.id") в folders?

[Ипатьев]

и с датой-то какие проблемы? вот уж что самое простое - дату обновить. Здесь-то что не ясно?

[ininth]

Ипатьев, там поле type уже хранит тип FILE или FOLDER.

[pokanoobpython]

Ипатьев, да я хотел сделать внешний ключь. Думаю как то коряво сделал. У меня это не работает

[pokanoobpython]

Ипатьев, я просто не могу сообразить связь с датой, чтобы он обновлялся у отдельных элементов

[mayton2019]

Создать таблицу базы данных postgresql из json файла?

Задание выглядит ужасно. Ну тоесть тут еще груминг и еще раз груминг нужен.

Я-бы спросил следующее. Зачем эта трансформация? Если данные кто-то положил в JSON то может быть имеет смысл их так и оставить?

Второе. Как часто будет проходит это? Если каждый день будем переливать из JSON в БД то как быть с теми данными которые уже были? Удалять? Мержить? Это всё архитектурные вопросы которые влияют на правильность решения.

Схема JSON. По виду это слепок дерева файловой системы. Но как быть если схема на ходу меняется. Я на личном опыте знаком с ситуациями когда ты ожидал один JSON а приходит внезапно другой. Просто потому что поставщик и потребитель этих JSON нигде и никогда не договаривались о Json-Schema. Вобщем идея такая что если вы храните информацию ОСМЫСЛЕННО то вы должны знать схему. JSON - это не балласт. Это информация по которой кто-то будет делать поиски.

Потом при GET запросе должен вернуть данные из бд в виде json.

Пока в этом задании Postgres выглядит не очень нужным. В наше время инфо-системы уже не проектируются от БД как было 20 лет назад. Сейчас вопрос бизнеса - первичен а Ораклы и Постгресы совершенно вторичны. Если надо - поднимайте Mongo/Couch e.t.c. Если надо - материализуйте ваш JSON и просто положите его в облачную файловую систему. Это на самом деле работает быстрее чем любая БД. Особенно под нагрузкой.

[Ипатьев]

ЧТО ИМЕННО с датой непонятно? Дата есть в джейсоне. какая проблема взять её и обновить?

[Ипатьев]

В любом случае, все эти ужасные проблемы с датой можно отложить на потом. займитесь чем-то одним. добавляйте пока ваши записи без даты

[pokanoobpython]

Ипатьев, ХОрошо попробую

Answer 1

[Ипатьев]

Я бы исходный джейсон развернул в словарь, где ключом является id
И дальше шёл просто по этому словарю, добавляя записи в БД. Проверяя, есть ли уже парент.
если нет - то создавать по цепочке, пока не появится

Answer 2

[12rbah]

ответ