Как перевести словарь в JSON, чтобы потом можно было его загрузить в POSTGRESQL?

Question

[EvaSpence]

Как перевести словарь в JSON, чтобы потом можно было его загрузить в POSTGRESQL и по этому можно было делать select'ы и join'ы?

Есть код который на выходе дает словарь со спарсеными значениями.
Дальше ступор ..

Приложу ссылку на архив https://drive.google.com/drive/folders/1t0tIVOMI36i6kl0ByPr4gxddUEC0h9lQ

    import psycopg2
    from psycopg2 import Error
    import pandas as pd
    import sqlalchemy
    from sqlalchemy import create_engine
    import tarfile
    import re
    import json
    import os


    ##############################
    #      STEP 1
    ##############################
    name_tar = "fio-example (3).tar.gz"
    tar = tarfile.open(name_tar)
    tar.extractall()
    tar.close()
    #распакует весь архив, то есть путь будет ..\fio-example\test.log
    ##############################
    #      STEP 2
    ##############################


    dir_t = os.path.dirname(__file__)
    filename = os.path.join(dir_t, 'fio-example', 'test.log')

    def reader(filename):

        regexp = r'{(?s:.*)}'

        with open(filename) as f:
            log = f.read()

            json_value = re.findall(regexp, log)

            log_dict = json.loads(json_value[0])

            #print(log_dict["fio version"])#проверочный
        return log_dict

    #if name == 'main':
        #reader(filename)

    #############################
    #       STEP 3
    #############################

    
    data_dict = reader(filename)
    print(data_dict)



    #-------------------------------------РАБОТА С БД-------------------------------------------------------------


    try:
        # Подключиться к существующей базе данных
        connection = psycopg2.connect(user="postgres",
                                    # пароль, который указали при установке PostgreSQL
                                    password="qwerty",
                                    host="127.0.0.1",
                                    port="5432",
                                    database="result_test_parsing")

        # Создайте курсор для выполнения операций с базой данных
        cursor = connection.cursor()
        # Пример SQL-запроса для создания новой таблицы
        create_table_query = '''CREATE TABLE fio
                            (ID INT PRIMARY KEY     NOT NULL,
                            MODEL           TEXT    NOT NULL,
                            PRICE         REAL); '''
        # Выполнение команды: это создает новую таблицу
        cursor.execute(create_table_query)
        connection.commit()
        print("Таблица успешно создана в PostgreSQL")

    except (Exception, Error) as error:
        print("Ошибка при работе с PostgreSQL", error)
    finally:
        if connection:
            cursor.close()
            connection.close()
            print("Соединение с PostgreSQL закрыто")

Comments

[Vindicar]

Что значит "дальше ступор"? Что за ошибка-то?
И вообще, ты уже используешь модуль json для парсинга json, ну так используй его же для обратного перевода.
Или вообще не гоняй туда-сюда, ты ведь уже грузишь json-строку.
Или у тебя вопрос, как хранить JSON-данные в постгресе?
В общем, уточняй вопрос.

[EvaSpence]

Vindicar, Я просто уже неделю с этим парюсь, .. впервые работаю с json и бд , оттуда и тупые вопросы :/
Т.е я правильно понимаю что, то , что у меня на выходе , уже по факту json?
Эти данные мне просто нужно скриптом в бд грузить .А как я без понятия..

[Алан Гибизов]

EvaSpence, есть ощущение, что это у вас учебная задача, а вы пропустили все занятия и теперь с грустью вспоминаете, как весело провели то время.
Задача в действительности сложная (в том смысле, что её можно разделить на более простые составляющие), но вполне решаемая.
Надо лишь разобраться, что такое словарь, что такое JSON, как оно соотносится одно с другим, как выглядит объектная модель python, как устроена SQL, как работать с SQL посредством sqlalchemy и ещё по мелочи… и потом всё это одно за другим аккуратно применить.
Полагаю, вы не ждёте же, что это всё тут сделают за вас?

Приходите с конкретными проблемами, типа: «вот так я преобразую JSON в словарь и вот такая ошибка, что я делаю не так» и Вам обязательно помогут.

p.s. Когда я несколько лет назад попытался сходу решить подобную (несколько более сложную) задачу без понимания что к чему, мне пришлось пойти на поклон к преподавателю и заниматься с ним по скайпу пару недель платно, это дало хороший старт для понимания. Ну и, конечно, тщательная проработка учебника М.Лутца, это отдельный долгий нудный труд…

[o5a]

EvaSpence, json - можно принять, что это по факту словарь в python, т.е. такая древовидная структура данных (как и есть в данном примере, несколько раз вложенные словари). В БД данные хранятся в табличном виде (т.е. поле = значение), таблицы можно объединять по ключевым полям. Соответственно, чтобы хранить json ( = вложенные словари) в нормальном табличном виде, нужно решить, что за данные вообще планируется записывать, и создать под них соответствующие таблицы с полями, а сами вложенные словари привести соответственно к "плоскому" табличному виду.

Но если и сами толком не понимаете, что планируете искать в этих данных, то в PG можно и просто записать в поле json напрямую, в базе есть функции для работы с данными json, просто хранение и поиск по таким данным уже не сможет пользоваться преимуществами БД в виде индексов и т.п. По факту просто из базы будет читаться этот кусок текста, парситься в словарь и из него уже выбираться по схожему с питоном синтаксису

my_json_field::json -> 'global options' -> 'filename'

Если планируется напрямую хранить и работать с JSON, то есть более подходящие БД - MongoDB.

Answer 1

[Vindicar]

EvaSpence, так. По порядку...
1. JSON - это формат хранения данных. С точки зрения Питона, JSON - это просто строка текста в определённом формате. Например, результат чтения из файла. Обычно стоит задача распарсить эту строку текста в какую-то структуру данных - например, в тот же словарь, или список, или их комбинацию. Для этой цели используются функции json.load() или json.loads() из модуля json. С ними ты вроде разобрался.
2. Хранение JSON в БД - вещь двусмысленная. Можно взять некоторую структуру данных (неважно какую), превратить их в текстовую строку в формате JSON с помощью json.dumps(), и сохранить эту строку в БД. Это просто, это сработает для любой структуры данных, но это ещё и практически бесполезно. Так что я сомневаюсь, что речь об этом. Тебе придётся это уточнить.
Либо можно разобраться, что за данные к нам поступают, какая их структура, какая их часть нас интересует, и какая потребуется структура базы данных, чтобы эту часть корректно сохранить (нормальные формы реляционных БД и всё такое).
Я посмотрел пример - там довольно объёмная структура данных, что именно из неё требуется сохранять? Потому что навскидку выделить в ней сущности (которые станут таблицами БД) - непросто. Или же БД уже существует, и таблицы уже созданы? Тут нужны дополнительные сведения от того, кто эту задачу поставил.
3. Как с помощью sqlalchemy или другой библиотеки подключиться к БД, сформировать в ней нужные таблицы (если это требуется), и выполнить запрос типа INSERT. Это достаточно нудная, но тривиальная задача, решается вдумчивым чтением документации к используемой библиотеки для работы с БД. Возможно, придётся поиграться с локальной тестовой БД - для начала.

Comments

[EvaSpence]

Vindicar вы 3й пункт буквально предугадали , я как джун пытаюсь из этого ТЗ что то разумное вырастить, а сегодня мне сказали "переделывай" тип нужна орм :/
https://qna.habr.com/q/1042842