Как передать dataframe в JSON и обратно?

Question

[Александр]

Создаю df из Google sheets

В дальнейшем работаю с ней через pandas

dataframe = pd.DataFrame(worksheet.get_all_records())

Я работаю с сервисом в который передаю данные в формате JSON, x = json.damps("y": y, "dataframe": dataframe)

Как мне правильно передать dataframe, чтобы потом вернуть его обратно и обрабатывать с помощью pandas.

dataframe на сервисе не обрабатываются, просто нужно для сохранения данных и для работы в python.

Вот как получилось:

worksheet = sh.get_worksheet(0)
df = pd.DataFrame(worksheet.get_all_records())
dx = df.to_json(orient='split')

datajs = json.dumps({"datj": dx})
dx = json.loads(datajs["datj"])

dg = pd.read_json(dx, orient='split')

print(dg)

Как передать правильно?

Answer 1

[Олег]

Например, pandas.DataFrame.to_json и pandas.read_json

Answer 2

[o5a]

to_json формирует текстовую строку формата json из словаря данных dataframe
to_dict формирует сам словарь

Соответственно, если пытаетесь сделать так:

dx = df.to_json(orient='split')
datajs = json.dumps({"datj": dx})

то datajs - это строка, а не словарь, поэтому брать от нее значения по ключу не получится
"datj" нужно брать не от datajs, а от dx

dx = json.loads(datajs)
dg = pd.read_json(dx["datj"], orient='split')

И если как написано изначально, вы передаете json в параметре x = json.damps("y": y, "dataframe": dataframe)
то можно в "dataframe" передать словарь, который потом и закодируется в json через dumps

x = json.dumps("y": y, "dataframe": df.to_dict(orient='split'))

Comments

[Александр]

o5a Спасибо! Посмотрите, пожалуйста, правильно я вас понял? у меня что то не вышло...

resultat = json.dumps({"buttons": json.dumps(but), "status": kat_status, "df_mag": df.to_dict(orient='split')})

x = data["df_mag"]
df = pd.read_json(x, orient='split') #45 строка

Выдает ошибку

Traceback (most recent call last):
File "/app/executor/wsgi.py", line 51, in __execute
result = await self.executor.execute(script_url, params)
File "/app/executor/executor.py", line 69, in execute
return await self.__run_handler(script, params)
File "/app/executor/executor.py", line 62, in __run_handler
return done.pop().result()
File "/usr/local/lib/python3.8/concurrent/futures/thread.py", line 57, in run
result = self.fn(*self.args, **self.kwargs)
File "", line 45, in handle
File "/usr/local/lib/python3.8/site-packages/pandas/util/_decorators.py", line 199, in wrapper
return func(*args, **kwargs)
File "/usr/local/lib/python3.8/site-packages/pandas/util/_decorators.py", line 296, in wrapper
return func(*args, **kwargs)
File "/usr/local/lib/python3.8/site-packages/pandas/io/json/_json.py", line 618, in read_json
result = json_reader.read()
File "/usr/local/lib/python3.8/site-packages/pandas/io/json/_json.py", line 755, in read
obj = self._get_object_parser(self.data)
File "/usr/local/lib/python3.8/site-packages/pandas/io/json/_json.py", line 777, in _get_object_parser
obj = FrameParser(json, **kwargs).parse()
File "/usr/local/lib/python3.8/site-packages/pandas/io/json/_json.py", line 886, in parse
self._parse_no_numpy()
File "/usr/local/lib/python3.8/site-packages/pandas/io/json/_json.py", line 1124, in _parse_no_numpy
for k, v in loads(json, precise_float=self.precise_float).items()
ValueError: Expected object or value

Answer 3

[Александр]

Вот это помогло

resultat = json.dumps({"buttons": json.dumps(but), "status": kat_status, "df_mag": df.to_json(orient='records')})

x = json.loads(data["df_mag"])
df = pd.read_json(x, orient='records')