Как записать float данные в DataFrame pandas?

Question

[Goobee]

Я пытаюсь записать данные в DataFrame. Данные приходят из api в типе float такого вида:
17.3925926
153.5963198
145.6092073
203.038961
57.5829517
97.4358974
149.9107683
Подскажите, пожалуйста, как правильно из записать в DataFrame.

Comments

[Goobee]

Когда пытаюсь добавить данные на прямую выдает:
Empty DataFrame
Columns: [Tank]
Index: []

[Максим Припадчев]

Goobee, В каком виде они приходят что за объект?

[Goobee]

Максим Припадчев, Данные приходят вот в таком виде:
17.3925926
153.5963198
145.6092073
203.038961
57.5829517
97.4358974
149.9107683
Без запятых без всего, если написать type то в каждой строчке будет написано class 'float'

[Максим Припадчев]

Goobee, Что значит в таком виде? Если они по одному значению в каком нибудь цикле приходят то их сначала нужно собрать в коллекцию. Покажи код.

[Goobee]

Максим Припадчев,

response = request_2.json()
for key in response.keys():
    new = response[key]
    if isinstance(new, dict):
        if 'Tank1FuelUpDnVol' in new['Params']:
            index = new['Params'].index('Tank1FuelUpDnVol')
            time = new['Params'].index('DateTimeFirst')
            last_time = new['Params'].index('DateTimeLast')
            value = new['Items']
            if value[0]["Caption"] == 'Заправка':
                tank_value = value[0]['Values'][index]
                start_of_refueling = value[0]['Values'][time]
                end_of_refueling = value[0]['Values'][last_time]
                print(tank_value)

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4

Answer 1

[Максим Припадчев]

Ну вот с кодом куда понятнее. Во первых я бы убрал весь код. И читал бы из json прямиком в pandas фрейм. Методом read_json() либо json_normalize(). И затем бы выбрал подсет на основе тех условий что мне нужно. Это вообще вместо всего кода, что ты дал.

Если же по коду, то объвляешь список до цикла пусть будет tank = [], и затем где у тебя print(tank_value) делаешь tank.append(tank_value). Затем естественно вне цикла после твоего кода

df = pd.DataFrame({
    'tank_value':tank
})

В принципе все. Но это плохой способ, правильно вообще не процессировать данные python циклами и читать весь json в фрейм и потом делать выборку из него.

Comments

[Goobee]

Вроде как получилось, спасибо! Но почему данные пришли в таком виде https://pastebin.com/MZ2FJNEf. Много раз написано tank value

[Максим Припадчев]

Goobee, Код покажи, так быть не должно. У тебя один и тоже фрейм конкатенируется Код.

[Goobee]

Максим Припадчев,

tank = []

response = request_2.json()
for key in response.keys():
    new = response[key]
    if isinstance(new, dict):
        if 'Tank1FuelUpDnVol' in new['Params']:
            index = new['Params'].index('Tank1FuelUpDnVol')
            time = new['Params'].index('DateTimeFirst')
            last_time = new['Params'].index('DateTimeLast')
            value = new['Items']
            if value[0]["Caption"] == 'Заправка':
                tank_value = value[0]['Values'][index]
                start_of_refueling = value[0]['Values'][time]
                end_of_refueling = value[0]['Values'][last_time]
                tank.append(tank_value)
                df = pd.DataFrame({"tank_value": tank})
                pprint(df)

[Максим Припадчев]

Goobee,

Затем естественно вне цикла после твоего кода

А это ты почему не прочитал.

df = pd.DataFrame({"tank_value": tank})
pprint(df)

Вот это вне тела все циклов.

[Goobee]

Максим Припадчев, Спасибо, получилось! А если мне нужно еще некоторые данные из Json добавить в этот dataframe. мне нужно так же создать list для них и запихнуть данные в list и потом их добавить с словарь в df?

[Максим Припадчев]

Goobee, Лучше не много изучить pandas и read_json в pandas а потом осуществить выборку того что нужно. Ну если следовать твоему коду не правильному то в список и потом твой существуеющий df['new_column'] = some_list. Но это плохое решение потенциально данные могут не совпадать, если списки разной длинны будут.

Ну и еще более менее правильное решение будет выглядеть так. Вот там где цикл ты собираешь tank_value в список. Предположим у тебя три значения это не важно, tank_value, another_value, some_value. Ты в свой список tank добавляешь вот так. tank.append((tank_value, another_value, some_value))
фрейм создаешь вот так. df = pd.DataFrame(data=tank_value, columns=['tank_value', 'another_value','some_value']). У тебя будет фрейм с тремя колонками.

[Goobee]

Максим Припадчев, Понял,спасибо!

[Максим Припадчев]

Goobee, Почитай я дополнил последний коммент.

[Goobee]

Максим Припадчев, Получилось! Спасибо вам!

[Goobee]

Максим Припадчев, Можете еще подсказать. Мне в tank нужно еще добавить одну строку, но она получается из другого enpoint. И когда я пытаюсь добавить

tank.append((tank_value, start_of_refueling, end_of_refueling, key, [i['Serial'] for i in response]))

Получается так, что он целый список добавляет, а мне нужно сделать так, чтобы этот список по элементам добавился в каждый кореж, как это можно сделать?

[Максим Припадчев]

Goobee, Смотри, у тебя есть величины и список внутри кортежа. Каждый твой кортеж это строка в фрейме. Каждая итерация цикла это новая строка. И вот в одном из полей у тебя место значений списки со значениями. Это то как я тебя понял (возможно неправильно). То есть по смыслу как то так.

[
    (1,2,'a',[100,200]),
    (1,2,'b',[300,400])
]

Это как выглядит твой tank после двух итераций. Так вот как ты хочешь что бы это выглядело, как эти данные из списка должны распределяться. Или может я не совсем верно тебя понял?

[Goobee]

Максим Припадчев, Есть список serial, там много значений, я бы хотел, чтобы эти значения закидывались в кортеж, а сейчас у меня получается, что я целый список закидываю в каждый кортеж https://pastebin.com/VY9B71r3

[Максим Припадчев]

Goobee, то есть как я понял, это один и тот же список закидывается в каждый кортеж. Длинна списка совпадает с остальными данными. То есть длинна списка равна длинне фрейма. Если так либо можешь просто его после всех парсингов в фрейм добавить. df['Serial'] = [i['Serial'] for i in response]. Вне цикла. Смотри смысл фрейма что каждая твоя строка это запись, сответсвенно все колонки должны быть одной длинны. Да они могут содержать пропущенные значения, но длинна всех колонок должна быть одинакова, Каждая строка это запись. Если это не так то делай отдельный фрейм для этих записей. И создавай колонку с общим индексом и там и там что бы джойнить как в sql.

[Goobee]

Максим Припадчев, Посчитал длинна serial больше чем длинна фрейма, значит лучше создать отдельный фрейм для serial?

[Максим Припадчев]

Да. Представь себе на листке бумаги. таблицу где одна колонка имеет длину 3 а вторая длину 5. Это уже не таблица. А как они логически вообще связаны, почему там больше значений?

[Goobee]

Максим Припадчев, Когда я получаю данные из эндпоинта я делаю проверку if isinstance(new, dict):
Там есть пустые значение None, и они у меня не учитываются.

[Максим Припадчев]

Goobee, То есть в других твоих переменных None пропускаются? Так делать нельзя. Не в коем случае. Ты нарушаешь структуру, записывай там где None пусть будет None.

[Goobee]

Максим Припадчев, Там Json файл вот такой струкруты
{

}

[Goobee]

https://pastebin.com/hevenQry Когда значение ключа None он не учитывается, то есть нет данных для этого ключа

[Максим Припадчев]

Goobee, Не видно какой, а ты пробовал, как я тебе советовал, read_json или json_normalize? Что бы сразу без всего твоего кода получить фрейм и оттуда уже выбирать те колонки которые тебе нужны.

[Goobee]

Максим Припадчев, Там очень большая вложенность в jsone и я не понимаю как правильно достать значение из некоторых списков

[Максим Припадчев]

Goobee, Сейчас гляну, его нужно нормализовать, если там все разной длинны. Только что то json не валидный где то нету двойных ковычек он ругается.

[Goobee]

Максим Припадчев, Создал отдельный dataframe и засунул туда serial. Дальше я заливаю эти данные в sqlite. У меня есть 4 таблицы. Будет правильно создать связи по колонкам которые пересекаются в таблицах? К примеру есть таблица 1 и таблица 2. В этих таблица есть колонка id и там одинаковые id 555 и 555 будет правильно построить связь между таблицами с помощью этой колонки?

[Максим Припадчев]

Goobee, Я думаю надо с этим json сначал работать и его приводить в порядок. Что бы можно было нормализовать его сначала. Так ты конечно правильно мыслишь насчет связей. Но это такое надо потратить время и нормализовать этот json.

[Goobee]

Максим Припадчев, А как понять нормализовать? Мне нужно данные не из всего Json, а только из определенных values. Там данные записаны, А сверху есть параметры, я проиндексировал параметр, и с помощью этого индекса я достаю значение, которое мне нужно и все.

[Максим Припадчев]

Goobee, Нормализовать означает привести к единой длинне, что бы можно весь этот json в таблицу превратить (фрейм). Проблема в том что json настолько плохой что pandas не может его нормализовать.

[Goobee]

Максим Припадчев, Я кусок только скинул, там очень большой json более 30 тысяч строчек. Может в этом проблема?

[Максим Припадчев]

Goobee, Да в принципе я его уже нормализовал. Смотри попробуй просто, будут ошибки или нет. Я то на том куске обшел, но может он его прочтет.

with open('data.json') as json_file:
    json_object = json.load(json_file)
df = pd.json_normalize(json_object)

Где data.json это твой json файл.

[Goobee]

Максим Припадчев, c5ccae9c-4e10-4496-8335-06bb631de1e4 ... 1fa42bd0-4e25-4668-bc30-2ec88a3390ed.Total.Engine1FuelConsumPerMH
0 None ... None

[1 rows x 2485 columns]

Process finished with exit code 0
Вот что получилось

[Максим Припадчев]

Goobee, теперь сделай например

exploded = df.explode('d051eb0d-0445-4c0d-aeb2-4f22a03a5886.ParamTypes')

И распечатай. Вот все твои данные в рамках одного фрейма из которого надо пробовать работать, они логически связаны. Понимаешь, его можно начинать доводить до ума, а не плодить кучу таблиц и гадать потом что к чему в них.

[Goobee]

Максим Припадчев, А можно как то это нормально вывести?

[Максим Припадчев]

Goobee, Ты можешь вот так любую колонку развернуть. Можешь другое имя колонки указать.

[Максим Припадчев]

Goobee, По всей видимости что то пошло не так у тебя. Все значения None. По ходу. У меня нормально. В общем я тебе так скажу. Нужно отдельный скрипт парсер твоего json писать. И потом это все умно складывать в базу.

[Goobee]

Максим Припадчев, В скобках мы указываем ключ, точка, и параметр?

[Максим Припадчев]

Goobee, в скобка мы указываем print(df.columns) имена колонок. Пути до данных.

[Goobee]

Максим Припадчев, У меня не файл. Я данные беру через api

response_2 = request_2.json()
df = pd.json_normalize(response_2)
exploded = df.explode('d051eb0d-0445-4c0d-aeb2-4f22a03a5886.Items.Values')
pprint(exploded)

Вот так код выглядит

[Максим Припадчев]

вообще explode это для того что открыть колонку которая содержит списки. Например если колонка содержит словарь, то его тоже можно превратить в отдельный фрейм. Например на том куске что ты дал. Items я открыл вот таким кодом.

items = df['d051eb0d-0445-4c0d-aeb2-4f22a03a5886.Items'].apply(pd.Series).T[0].apply(pd.Series)
print(items).

То есть это уже фрейм с какой то толковой информацией. Его можно еще дальше раскрыть. И все данные что нужно вот так собирать.

[Максим Припадчев]

Goobee, Понял. Еще проще не надо заморачиваться с чтением. В общем поздравляю тебя хороший способ изучить pandas это целая работа создать такой скрипт, который из вот такого json соберет все что надо и запишет в базу правильно. Что бы данные были логически связаны.

[Goobee]

Максим Припадчев, А где можно про это почитать? Желательно на русском если есть такие источники?

[Максим Припадчев]

Goobee, Честно может и есть на русском. Но я не подскажу, я относительно программирование не разу в жизни ничего на русском не читал. А так документация по pandas. Довести до ума такой json не самая тривиальная задача. Так что придется много трудится.

[Goobee]

Максим Припадчев, Понял, спасибо большое за помощь! Я попробую

[Максим Припадчев]

Goobee, Кстати код я дал несколько комментов назад, у тебя работает или нет где items?

[Goobee]

Максим Припадчев, Да, сработал. apply(pd.Series).T[0].apply(pd.Series) Только я не понимаю что это такое и что оно делает

[Максим Припадчев]

Goobee, Так распечатай фрейм какой нибудь с инфой выдает или тоже None?

[Goobee]

Максим Припадчев, Везде none

[Максим Припадчев]

Goobee, например у меня код я его еще дальше раскрыл что все значения получить выглядит вот так.

То есть я уже вытащил определенные значения.

[Максим Припадчев]

Видишь у тебя изначально там уже где то ошибка идет. Попробуй вот так Например.

response_2 = request_2.json()
df = pd.json_normalize(response_2)[['d051eb0d-0445-4c0d-aeb2-4f22a03a5886']]
items = (df['d051eb0d-0445-4c0d-aeb2-4f22a03a5886.Items']
         .apply(pd.Series).T[0]
         .apply(pd.Series)
         .explode('Values'))
pprint(items)

Все равно None?

[Goobee]

Максим Припадчев, У меня вот так выглядит

[Максим Припадчев]

Goobee, Ну вот это уже данные пошли, с которыми можно работать. И вот такими запросами мы можем вытащить все что на м нужно и собрать это все в логически связанную структуру.

[Максим Припадчев]

Goobee, Ну а вообще если тебе это все для дела надо, а средствами pandas тебе тяжело решать это все будет. 30 тысяч строк здесь и брут форсе подойдет просто циклами или рекурсивно обходи его и выбирай то что тебе нужно, как все эти списки собрать в фрейм, разберешься или здесь подскажут. Если ты сможешь выбрать в python объекты все что нужно то фрейм мы из них всегда сообразим.

[Goobee]

Максим Припадчев, Я составил таблицу в sqlite с нужными параметрами. Проверял их сидел сравнивал значения. Вроде все сходится и данные такие же как и в api. Теперь надо придумать как связи составить между ними и достать нужные данные. С pandas я работаю 1 раз и мне пока что тяжело понять его функционал. И как правильно составить скрипт чтобы он брал только данные, которые мне нужны. Попробую по своему сделать, если не получиться буду разбиться с pandas

[Максим Припадчев]

Goobee, Пробуй здесь на самом деле такой кейс json настолько скверный, что парсить чистым python абсолютно нормальное решение.

[Максим Припадчев]

Goobee, А насчет связей отвечай себе на вопрос что объеденяет данные?

[Goobee]

Максим Припадчев, У меня есть 4 таблицы данных. Одна их них транзитная, там есть id по которым я планировал объединять данные. Я хотел создать связи по id и потом написать запрос, с помощью которого я бы вытянул данные из таблиц

[Максим Припадчев]

Goobee, Ну вполне нормальный ход.

[Goobee]

Максим Припадчев, Будет правильно если я по этим колонкам идентичным в разных таблицах буду делать связь?

[Максим Припадчев]

Goobee, По гугли почитай примеры. Это лучше всего и посмотри что тебе подходит по смыслу. Может можно сделать меньше таблиц. Ты знаешь свои данные и у тебя есть мысли, как их в дальнейшем использовать. Если тебе удалось собрать все что нужно в таблице, то справишься. Возьми найди какой-нибудь туториал, про реляционную алгебру полно инфы и на русском. И сообрази как лучше все это дело сделать.

[Goobee]

Максим Припадчев, Хорошо спасибо, посмотрю.

[Goobee]

Максим Припадчев, Последнее что у меня не получилось с данными. https://pastebin.com/RZJdVeye Мне нужно записать из всех values из словаря данные. Но почему то у меня записывается только из первого value. Я попытался обработать данные циклом. Но мне записало 9 раз одни и те же данные.

for key in second_response.keys():
    new = second_response[key]
    if isinstance(new, dict):
        if 'Tank1FuelUpDnVol' in new['Params']:
            index = new['Params'].index('Tank1FuelUpDnVol')
            time = new['Params'].index('DateTimeFirst')
            last_time = new['Params'].index('DateTimeLast')
            value = new['Items']
            if value[0]["Caption"] == 'Заправка':
                for item in value:
                    tank_value = value[0]['Values'][index]
                    start_of_refueling = value[0]['Values'][time]
                    end_of_refueling = value[0]['Values'][last_time]
                    tank.append((tank_value, start_of_refueling, end_of_refueling, key))

Вот как я попробовал это сделать

[Максим Припадчев]

Goobee, Сложно сказать по этому коду. Видишь ли я все эти значения могу pandas получать, а тебе им не удобно работать.

[Goobee]

Максим Припадчев, Понял, спасибо