Как правильно задать json файл?

Question

[V4kodin]

Здравствуйте, решая contest от яндекса столкнулся с проблемой: Не могу понять в как заданы входные условия задачи.

Условия задачи

По результатам полугодия команда Пандаса Фигандаса не смогла выполнить kpi, который он им поставил. Он задумался, а нет ли в его команде бездельников? Он смог найти файл с последними событиями в репозитории и собирается посчитать научно обоснованный показатель эффективности разработчика - количество написанного кода (в строках), количество добавленных файлов и количество комитов. Но вот же беда - данные ведь в формате json! Помогите ему и предоставьте таблицу в формате .tsv! Таблица должна содержать колонки в следующем порядке

["username", "commits", "changed_lines", "new_files"],

а также должна быть отсортирована по username.

- username - юзернейм разработчика

- commits - количество комитов разработчика

- changed_lines - суммарное количество changed_lines

- new_files - суммарное количество новых файлов добавленных разработчиком. Новым файлом считается любой файл, которого вы раньше не встречали (если смотреть на commit_time). Обратите внимание, что данные изначально не отсортированы по commit_time
Формат ввода

json с данными. ВНИМАНИЕ, ФАЙЛ В КОНТЕСТЕ НАЗЫВАЕТСЯ input.json
Формат вывода

Сохраните получившуюся таблицу в файл output.tsv
Примечания

Pandas при решении задачи использовать запрещено.

Пробывал следующие входные данные:

файл input.json

{
  "username": [
    "Super hero squad",
    "squad",
    "abc"
  ],
  "commits": [
    11,
    22,
    33
  ],
  "changed_lines": [
    22,
    44,
    55
  ],
  "new_files": [
    44,
    88,
    99
  ]
}

Далее разбивал их на словарь функцией json.load из стандартной библиотеки json.

Однако при обращении к любому элементу автотестер яндекса выдает ошибку:

Ошибка

Traceback (most recent call last): File "3d7ce9ba-a219-4533-a14b-eeea772a15bf",

line 32, in main()

File "3d7ce9ba-a219-4533-a14b-eeea772a15bf", line 8, in main

table.append(templates["username"])

TypeError: list indices must be integers or slices, not str

Упрощенный код программы на python

import json


def main():
    table = []
    with open('input.json') as f:
        templates = json.load(f)
    table.append(templates["username"])
    
    
main()

Соответственно входные данные преобразуются в строку а не в словарь, что очень странно для json.
Как можно задать json по факту не являющийся словарем?
Можете привести пример подходящих входных данных?
Либо можно ли обмануть бота яндекса чтобы тот выдал в отчет о тестировании входые данные?

Comments

[Jacen11]

файл input.json сам придумал?

[V4kodin]

Jacen11, Да, к сожалению никаких входных данных не дано в задаче.

[Jacen11]

V4kodin, ну он неправильный, так никто не делает
должен быть вида

[
   { "username":"sdfsd".
      "commits": 2.
      "changed_lines": 2
   },
 { "username":"sdfsd".
      "commits": 2.
      "changed_lines": 2
   }
, { "username":"sdfsd".
      "commits": 2.
      "changed_lines": 2
   }
]

под это пишется класс и парсится в список этих объектов

[V4kodin]

Jacen11, Переделал под такой вид, однако бот все еще жалуется

код ошибки

Traceback (most recent call last):
File "c8c4f1b0-b3f2-47fe-ac7b-8ad82742a884", line 37, in
main()
File "c8c4f1b0-b3f2-47fe-ac7b-8ad82742a884", line 12, in main
arr.append(templates[i]["commits"])
KeyError: 'commits'

[V4kodin]

Странно что при этом он не жалуется на username, который идет первым

Код программы

import json


def main():
    arr = []
    table = []
    with open('input.json') as f:
        templates = json.load(f)
    for i in range(len(templates)):
        arr.append(templates[i]["username"])
        arr.append(templates[i]["commits"])
        arr.append(templates[i]["changed_lines"])
        arr.append(templates[i]["new_files"])
        table.append(arr)
        arr = []

[V4kodin]

новый input.json

[
   { "username":"Super hero squad",
      "commits": 1,
      "changed_lines": 2,
      "new_files": 4
   },
 { "username":"squad",
      "commits": 3,
      "changed_lines": 6,
      "new_files": 9
   }
, { "username":"abc",
      "commits": 8,
      "changed_lines": 16,
      "new_files": 32
   }
]

[Jacen11]

V4kodin, только начал заниматься программированием?
начни с основ, этот код очень очень плох, так нельзя делать

у меня все работает, найди разницу сам

[V4kodin]

Jacen11, нет, ты не понял мой код тоже работает, с мои json. Проблема при отправке боту, он не может найти ключ "commits" следовательно json задан как-то по другому.

Касательно написания кода я сейчас не ориентировался на его читаемость, однако никаких серьезных огрехов в нем не вижу. Если есть более конкретные замечания то пожалуйста изложи.

[Jacen11]

V4kodin,

нет, ты не понял мой код тоже работает

у меня твой последний код не работает

Сохраните получившуюся таблицу в файл output.tsv

и где это?

Если есть более конкретные замечания то пожалуйста изложи.

никто не хранит данные в массивах и мапах как тут. Я же писал, объекты используют нормальные разработчики

[Jacen11]

V4kodin,

нет, ты не понял мой код тоже работает, с мои json. Проблема при отправке боту, он не может найти ключ "commits" следовательно json задан как-то по другому.

нет, это ты не понял, сейчас совершенно разные ошибки на разных программах

[V4kodin]

Jacen11,

у меня твой последний код не работает

и где это?

видимо потому что я скинул не полный код а только ту часть в которой ошибка.

никто не хранит данные в массивах и мапах как тут. Я же писал, объекты используют нормальные разработчики

Задача подразумевают работу с и запись в двумерный массив, таблицей если угодно. По этой причине использование массивов в данном коде более чем оправдано.

Прилагаю полную версию кода:

import json


def main():
    # variables to create table
    arr = []
    table = []

    # import data from json file
    with open('input.json') as f:
        templates = json.load(f)

    # writing data from json to table
    for i in range(len(templates)):
        arr.append(templates[i]["username"])
        arr.append(templates[i]["commits"])
        arr.append(templates[i]["changed_lines"])
        arr.append(templates[i]["new_files"])

        table.append(arr)
        arr = []

    # sorting table
    table.sort(key=lambda x: x[0])

    # transposing table to easy work with
    table = transpose(table)

    # writing table to .tsv file as in task
    my_file = open("output.tsv", "w+")
    my_file.write("username\tcommits\tchanged_lines\tnew_files\n")
    for i in range(len(table[0])):
        my_file.write(f"{table[0][i]}\t{table[1][i]}\t{table[2][i]}\t{table[3][i]}\n")


# transposing matrix func
def transpose(matr):
    res = []
    n = len(matr)
    m = len(matr[0])
    for j in range(m):
        tmp = []
        for i in range(n):
            tmp = tmp + [matr[i][j]]
        res = res + [tmp]
    return res


# execution
main()

[Jacen11]

V4kodin,

видимо потому что я скинул не полный код а только ту часть в которой ошибка.

нет, сам же пишешь что ошибка в той части что скинул)

Задача подразумевают работу с и запись в двумерный массив, таблицей если угодно

нет, это не так

my_file.write(f"{table[0][i]}\t{table[1][i]}\t{table[2][i]}\t{table[3][i]}\n")

сам не видишь что это полная дичь?

. По этой причине использование массивов в данном коде более чем оправдано.

в принципе это оправдано когда делаешь у себя дома какую то поделку и этого никто не увидит

если цель научиться программировать в коммерческой конторе, а не задрачивать странные задачи то так лучше не писать

хотя конкретно вот эта задача довольно практическая, действительно похожее встречается

arr = []
    table = []

    # import data from json file
    with open('input.json') as f:
        templates = json.load(f)

    # writing data from json to table
    for i in range(len(templates)):
        arr.append(templates[i]["username"])
        arr.append(templates[i]["commits"])
        arr.append(templates[i]["changed_lines"])
        arr.append(templates[i]["new_files"])

        table.append(arr)
        arr = []

это самодостаточный кусок код, пруф что он работает или сказочник

[V4kodin]

Jacen11,

сам не видишь что это полная дичь?

В целом да, но разбиение данного кода на 4 отдельные строчки показалась мне глупой идей, хотя для читаемости пожалуй да, будет лучше разбить. Ты прав.

нет, это не так

Что значит не так? В задаче четко прописано что данные должны выводится в таблице. Так что работа идет с таблицами. Просто в нормальной реализации ты подтягиваешь либу которая сама все писать в таблички будет. Ну или субд которая опять же будет тебе все в таблицы писать. Это задача относится классу задач "от жака фреско" без особого смысла, чисто проверить языковые знания и умение думать.

в принципе это оправдано когда делаешь у себя дома какую то поделку и этого никто не увидит

В данный момент такую поделку и делаю. А на счет коммерческой разработки, я уж точно не хочу делать большие проекты на питоне лол.

это самодостаточный кусок код, пруф что он работает или сказочник

Имелось ввиду что если запустить эту программу (кусок кода программы), то ошибка будет буквально та же самая.
Просто потому что это верхняя часть кода программы, а до нижней компилятор просто не доберется из-за ошибки.
Пруфануть не могу, потому как у меня на руках все еще нет json с правильными входными данными, а у бота яндекса стоит защита не позволяющая пройти программам не записывающим output.tsv файл.

нет, сам же пишешь что ошибка в той части что скинул)

Тут я вообще не понял что ты написал.

[Jacen11]

V4kodin,

но разбиение данного кода на 4 отдельные строчки показалась мне глупой идей

да даже на одну нормально может быть

Так что работа идет с таблицами.

нет. Ну тут проблема что основы плоховато знаешь. По факту объект это твоя "таблица", колонки это поля объекта. А строки это конкретные экземпляры

Просто в нормальной реализации ты подтягиваешь либу которая сама все писать в таблички будет.

нет, и тем более нахрена субд, ты о чем?

я уж точно не хочу делать большие проекты на питоне лол.

какая разница на каком языке ты ее сделаешь? я питон впервые вижу за пять лет, запустил онлайновую версию и уже вижу ошибки в твоем коде, даже связанные просто с сигнатурами

Имелось ввиду что если запустить эту программу (кусок кода программы), то ошибка будет буквально та же самая.

то есть все таки код в принципе неправильный?

Тут я вообще не понял что ты написал.

давай прямо скажу. Твой код не работает! ты используешь неправильные методы!

[Jacen11]

V4kodin,

TypeError: list indices must be integers or slices, not str

насчет этой ошибки, там прямо же сказано все, templates это массив и доступы к элементам по индексу, а ты туда строку пихаешь

[V4kodin]

Jacen11,

какая разница на каком языке ты ее сделаешь? я питон впервые вижу за пять лет, запустил онлайновую версию и уже вижу ошибки в твоем коде, даже связанные просто с сигнатурами методов

Типизация, языка, layout проекта, фреймворки и тд. все это очевидно зависит от языка.

нахрена субд, ты о чем?

Нормальные люди хранят подобные данные в бд/excel документе.

да даже на одну нормально может быть

нет. Ну тут проблема что основы плоховато знаешь. По факту объект это твоя "таблица", колонки это поля объекта. А строки это конкретные экземпляры

то есть все таки код в принципе неправильный?

давай прямо скажу. Твой код не работает! ты используешь неправильные методы!

А давай я тебе не буду ебать мозг в попытках доказать что мой код рабочий, в то время как ты мне не будешь ебать мозг в попытках доказать что он не рабочий.
Скинь мне рабочий по твоему мнению код я отправлю его и пруфану тебе скрином, что он падает с ошибкой.
Заодно поучусь мастерству написания красивого кода. А ты проверишь свои знания.

[alexbprofit]

Pandas при решении задачи использовать запрещено.

pd = __import__('pan' + 'das')

легко же обходится

Answer 1

[Vindicar]

Без примера входных данных смысла решать задачу нет. Пинайте тьютора/поддержку Яндекса, пусть дадут пример файла.
Конечно, можно попробовать хакнуть систему таким образом:

with open('input.json', 'rt') as src:
    raise ValueError(src.read())

Если бот яндекса сообщает текст ошибки, может, удастся таким образом выковырять JSON текст целиком, или хотя бы его часть.
Альтернативно, можно поковырять так:

with open('input.json', 'rt') as src:
    data = json.load(src)
raise ValueError(repr(type(data)))  # вернёт скорее всего <type 'list'>. Закомментируешь эту строку и делаешь:
raise ValueError(repr(data[0]))  # ну и так далее пока не поймешь, что за структуру данных тебе подсовывают.

Comments

[V4kodin]

Спасибо, бот обходится

with open('input.json', 'rt') as src:
    raise ValueError(src.read())