Как посчитать суммы в списке словарей?

Question

[pcdesign]

Вот такой списочек:

[
  {
    "id":"1",
    "qty":6
  },
  {
    "id":"2",
    "qty":1 
  },
  {
    "id":"1",
    "qty":1 
  },
  {
    "id":"2",
    "qty":1 
  },
  {
    "id":"3",
    "qty":10 
  },
  {
    "id":"1",
    "qty":1 
  }
]

Хотелось бы получить:

[
  {
    "id":"1",
    "qty":8
  },
  {
    "id":"2",
    "qty":2 
  },
  {
    "id":"3",
    "qty":10 
  },
]

То есть id стали уникальными и qty приплюсовались.

Comments

[Сергей П]

Смахивает на задание, а не вопрос. Расскажите, что ли, как вы пытались решить задачу, какие у вас мысли на счет решения, что именно не получается?
Этот ресурс не для двоечников.

[bbkmzzzz]

Ответьте себе на вопросы:
1. Как получить элемент списка
2. Как прочитать из словаря
3. Как записать в словарь
4 Как в питоне работают циклы
5. Как работает поиск на этом сайте

[aRegius]

IMHO, ваше личное решение с defauldict было отличным: оно простое, легко читается, плюс довольно гибкое, поскольку позволяет объединять значения любого типа, не только числового.

[pcdesign]

aRegius, спасибо на добром слове. Я удалил его потому-что в комментариях меня пытались учить жизни, просто уже раздражает.
А Counter считаю отличным решением, потому что он ясно передает что именно тут происходит, как бы само слово Counter говорит само за себя.

[aRegius]

Спасибо, ваш мотив мне понятен.

Answer 1

[Сергей П]

Вот решение попроще.

from collections import Counter
a = [{'id': '1', 'qty': 6}, {'id': '2', 'qty': 1}, {'id': '1', 'qty': 1}, {'id': '2', 'qty': 1}, {'id': '3', 'qty': 10}, {'id': '1', 'qty': 1}]
c = sum((Counter({d['id']: d['qty']}) for d in a), Counter())
result = [dict(id=k, qty=v) for k, v in c.items()]

UPD: Дополнил решение, чтобы строго соответствовать формату результата.

Comments

[pcdesign]

Спасибо!

[pfemidi]

Брр!!! На мой взгляд у Владимир Куц решение намного проще и понятнее. Да и в результате получается именно то, что просили -- просуммированный список, а не объект Counter. IMHO.

[Сергей П]

pfemidi, резонное замечание на счет результата. Но на счет понятности и читабельности поспорил бы.

[Сергей П]

pfemidi, Дополнил решение для соответствия формату. Хотя, ИМХО, это тривиально и мало познавательно.

c = sum((Counter({d['id']: d['qty']}) for d in a), Counter())
result = [dict(id=k, qty=v) for k, v in c.items()]

[pfemidi]

Но на счет понятности и читабельности поспорил бы.

Сергей Паньков, чтобы пользоваться Counter надо представлять что такое модуль collections и что из него нужно импортировать в конкретном случае, это уровень миддла как минимум. А простые генераторы и лямбды без импортирования пусть и стандартных, но вполне может быть пока неизвестных модулей, это уровень джуниора. Так что остаюсь при мнении что вариант Владимир Куц легче для понимания новичкам в питоне :-)

[Сергей П]

pfemidi, вы вот сейчас серьёзно?

модуль collections и что из него нужно импортировать в конкретном случае, это уровень миддла как минимум

Вот вы это вот серьёзно сейчас сказали? Мидла как минимум? То есть в некоторых, ок, пусть редких случаях и "синьоры" могут испугаться простого и понятного счетчика из стандартной библиотеки?

вариант Владимир Куц легче для понимания новичкам в питоне

Навороченный однострочник с кучей скобок и генераторов реализуют многопроходный алгоритм с фильтрацией элементов. Если какой-то джун и не знает что такое Counter, то решение с ним побудит его зайти и освоить простую его концепцию. И с этого момента у нас джун, понимающий Counter.
А это нагромождение скобок настолько нечитабельно, что способно вызвать ошибки у кого угодно, поскольку требует огромной внимательности.
И даже после внимательного разбора всех этих скобочек, спустя буквально месяц любой: и джун и синьор, будет заново вчитываться в эти скобочки и парсить это, чтобы понять что там происходит.

Джунов нужно растить и обучать на хороших примерах, а не на говнокоде потому что, по вашей логике, из говнокода они могут нечаянно чему-нибудь научиться научиться.

Я понимаю, что это, скорее всего, учебный пример. Как все учебные примеры он синтетический и направлен на закрепление какого-то материала. Если этот материал -
генераторы и лямбды, то решение Владимир Куц вполне резонно и призвано повысить у студента скиллы разбора синтаксиса питоновского функционального подхода.
Если закрепляемый материал - это стандартная библиотека (а её нужно осваивать всё же джунам, а не синьорам, простите), то решение со счетчиками правильнее.

Ну и если задание было на собеседовании, то решение со счетчиками однозначно лучше, поскольку читабельнее и прозрачнее, включает специфическое использование стандартной библиотеки, работает за один проход и, в целом. понятнее, если освоить счетчики. Из этого решения можно чему-то научиться.

Ну и остаётся вероятность, что вы меня просто тролите. Как может ЭТО быть легче для понимания?

[pfemidi]

Сергей Паньков,

Вот вы это вот серьёзно сейчас сказали?

Наполовину серьёзно, наполовину нет.

Мидла как минимум? То есть в некоторых, ок, пусть редких случаях и "синьоры" могут испугаться простого и понятного счетчика из стандартной библиотеки?

Синьор не испугается. Он выше по иерархии чем миддл и если миддл знает про стандартные библиотеки, то синьор и подавно знает.

решение со счетчиками однозначно лучше, поскольку читабельнее и прозрачнее
...
Из этого решения можно чему-то научиться.

Научиться да, можно. Но лично для меня гораздо читабельнее и прозрачнее решение с генераторами и лямбдами: не надо предварительно забивать себе голову всеми возможными стандартными и не стандартными библиотеками, всё решается элементарно просто средствами самого языка.

Да, может быть с модулем collections и удобнее, может быть модуль collections и специально оптимизирован для подобного и с ним быстрее если там какие-нибудь огромные списки, но осознание этого приходит после, с опытом. С опытом начиная с миддла или уже продвинутого джуниора. А только что "родившийся" джуниор про это знать не знает, зато про генераторы и про лямбды он знать обязан, иначе он уже выбрал себе не тот путь.

Ну и остаётся вероятность, что вы меня просто тролите.

Нет.

Как может ЭТО быть легче для понимания?

Просто по себе сужу. Вариант от Владимир Куц лично у меня не вызвал никаких затруднений, когда я прочёл оригинальный вопрос у меня тут же в голове сформировалось "генераторы, фильтровать по id и суммировать") и только проскроллив ниже я увидел что такое Владимир Куц уже предоставил. Когда увидел ваше решение, то заинтересовался, в стопицотый раз прочитал документацию на модуль collections, в стопицотый раз сказал сам себе "Надо всё же это запомнить! Может быть когда-нибудь пригодится всё же!" прекрасно зная что в стопицотый раз через пять минут я про это опять забуду, но про генераторы и лямбды буду помнить всегда.

[pcdesign]

Сергей Паньков,

Я понимаю, что это, скорее всего, учебный пример. Как все учебные примеры он синтетический и направлен на закрепление какого-то материала

Чем отличаются русский, американский и еврейский форумы?
- на американском форуме вы задаете вопрос и вам дают ответ
- на еврейском форуме вы задаете вопрос и вам задают встречный вопрос
- на русском форуме вы задаете вопрос и вам долго объясняют почему вы такой: школьник, джун, студент, двоечник и т.д.

С чего вы решили, что проект учебный? Очень даже реальный. Обычно так делают люди на SO. Задают вопрос вида, вот входные параметры, вот то что хочу получить. И никто не лезет объяснять школьник ты или нет, и зачем ты вообще этот вопрос тут задал. Damant, quod non intelegunt.

pfemidi, Не надо изобретать велосипеды. Надо максимально стараться использовать готовые решения. Меньше шансов в последствии получить непредсказуемые результаты. На счет читабельности Сергей Паньков отлично объяснил.

[Владимир Куц]

Недавно на слуху была такая история:
https://meduza.io/feature/2016/03/28/kak-slomat-in...

Была такая библиотечка - left-pad, которая выполняла некую простую функцию. Программисты массово включали у себя в зависимостях, и использовали ее вместо того чтобы написать несколько лишних строчек кода средствами самого языка. И в один прекрасный день автор этого модуля выпилил этот модуль из npm в качестве протеста, в результате сломав зависимости многих программ, что вызвало шквал проблем.
Я по-своему вынес урок из этой истории, и стараюсь по-максимуму использовать конструкции самого языка, дабы уменьшить зависимости от даже хоть и системных, но все же внешних библиотек, если конечно речь не идет о нагромождении кучи строк с написанием своих велосипедов.
В данном случае что тот, что тот вариант имеют право на жизнь. И каждый выбирает вариант подходящий именно ему. Хотите пихать всюду зависимости от внешних библиотек, да и еще считая это более высоким уровнем - ну, ок....

[Сергей П]

pfemidi, ок. Видимо у всех в голове это по-разному.
Для меня проще однажды понять принцип работы, чем запоминать каике-то паттерны и примеры использования. Вообще считаю "заучивать" и "помнить" - это вредно. Это мёртвый груз, как стихотворение про Бородино, зазубренное в средней школе. А вот понимание - это уже никуда не денется. Если вы что-то поняли, то оно улеглось не как монолитный кирпич в голове, а как строгая логическая система, опирающаяся на другие понимания и привязанная сотней якорей к опыту, знаниям, рабочим инструментам сознания.

Увидел новую библиотеку, класс -- разберись как работает, пойми для чего он нужен и почему его сделали именно таким. Когда понял и разобрался, то уже не нужно "вспоминать" что там к чему, можно сразу применять понятный инструмент. При условии, конечно, что инструмент эргономичен и хорошо написан. Если даже и выпадут из головы какие-то тонкости или нюансы API, выветрится название метода, то IDE подскажет или интуиция. Иногда думаешь как сам бы сделал такой класс, метод, API, а потом смотришь -- точно: почти так и сделано.

Хотя, надо сказать, не всё в стдлибе питона идеально. ох не всё.

[pfemidi]

На счет читабельности Сергей Паньков отлично объяснил

pcdesign, так я тоже объяснил, правда своё видение. Повторю, но мне гораздо понятнее код вида (утрирую, код явно синтетический, просто для вида)

a = []
for i in foo:
    for j in bar:
        a.append(str(((i + 10) * j)**3))
a.join("+")

чем
a = SomeBlackBox()

Вот модули collections, itertools и прочие подобные, которые часто тут мелькают, лично для меня являются как раз теми самыми "чёрными ящиками" в которых чёрт знает что делается. Я уже лет пять как минимум не могу запомнить что в них и к чему это "модно, стильно и молодёжно" применять. Когда мне это встречается, то постоянно лазаю в документацию чтобы в очередной раз понять зачем это и что оно конкретно делает. И это именно недостаток опыта -- на Python мне приходится писать хорошо если два раза в году (правда читать чаще, в году раз сорок-пятьдесят если не считать тексты на Python тут). Поэтому с моей точки зрения неопытного в Python генераторы и лямбды намного читабельнее и понятнее чем неизвестные (или известные только по названиям, но неизвестные "а что там внутри?") библиотеки.

[Сергей П]

Владимир Куц, leftpad, в реальной жизни очень мало проблем с единственной причиной. Обычно причин целый букет и главную даже порой найти трудно. В случае с лефтпадом там тоже вскрылось много всего: и сложившаяся практика нефиксирования зависимостей, и уязвимость пакетной системы, и культ карго в плане использования тупых ненужных библиотек, и несовершенный дизайн стандартной библиотеки.
Мне кажется вот такой нечитаемый код с генераторами, лямбдами и фильтрами в проде - это самое плохое, что можно было вынести в качестве урока из истории с leftpad.

Всё же вы завели речь о двух крайностях. Из стандартной библиотеки счетчики скорее всего не исчезнут внезапно по инициативе какого-то обиженного оболтуса. Ну или вы безответственно отнеслись к фиксации версии питона для деплоя своего продукта.

В ревью на прод я бы такой код не пропустил именно из-за плохой читабельности и поддерживаемости. Но как одноразовый скриптик для обработки статистики логов при поиске трудноуловимого бага -- вполне сойдёт.

[pfemidi]

В грузинской школе.
Учитель: "Запомните, дети: вилька, булька и бутылька пишется без мягкого знака, а сол, фасол и канифол с мягким знаком. Запомните это дети, ибо понять этого не возможно!!!"

А вот понимание - это уже никуда не денется. Если вы что-то поняли, то оно улеглось не как монолитный кирпич в голове, а как строгая логическая система, опирающаяся на другие понимания и привязанная сотней якорей к опыту, знаниям, рабочим инструментам сознания.

Сергей Паньков, вот! Вот именно! Генераторы и лямбды я понял и они теперь никуда от меня не денутся, это как езда на велосипеде -- один раз научился и уже никогда не забудешь. А что содержится в модулях типа collections, как их применять и когда -- понять совершенно невозможно, это надо именно что запомнить, зазубрить.

С модулями os, io, threading не так, тут хочешь-не хочешь, но запомнишь. А с модулями вида collections, itertools именно так, только зубрёжка, только хардкор.

[Сергей П]

pfemidi,

a = []
for i in foo:
    for j in bar:
        a.append(str(((i + 10) * j)**3))
a.join("+")

действительно читается и поддерживается легче, чем:

"+".join(str(((i + 10) * j)**3) for j in bar for i in foo)

=) А про SomeBlackBox вы всё же слукавили.

collections, itertools и прочие подобные, которые часто тут мелькают, лично для меня являются как раз теми самыми "чёрными ящиками" в которых чёрт знает что делается.

Если это черные ящики, то особенности магии питоновского ООП, декораторы, дескрипторы, концепция мутабельности, особенности работы со строками для вас будут ещё более черным и мутным ящиком. Ну что поделать. Если бы вы еще реже пользовались питоном, то для вас '+'.join был бы не понятным черным ящиком и вы бы удивлялись почему не хорошо как везде s = s + 'some_next_part'.

[Сергей П]

collections, itertools именно так, только зубрёжка

pfemidi, да зачем зубрить-то? Поймите, что в itertools всякое про итераторы, а в collections про структуры данных. Всё. Если что надо -

> help('itertools')
...
DESCRIPTION
    Infinite iterators:
    count(start=0, step=1) --> start, start+step, start+2*step, ...
    cycle(p) --> p0, p1, ... plast, p0, p1, ...
    repeat(elem [,n]) --> elem, elem, elem, ... endlessly or up to n times
    
    Iterators terminating on the shortest input sequence:
    accumulate(p[, func]) --> p0, p0+p1, p0+p1+p2
    chain(p, q, ...) --> p0, p1, ... plast, q0, q1, ... 
    chain.from_iterable([p, q, ...]) --> p0, p1, ... plast, q0, q1, ... 
    compress(data, selectors) --> (d[0] if s[0]), (d[1] if s[1]), ...
    dropwhile(pred, seq) --> seq[n], seq[n+1], starting when pred fails
    groupby(iterable[, keyfunc]) --> sub-iterators grouped by value of keyfunc(v)
    filterfalse(pred, seq) --> elements of seq where pred(elem) is False
    islice(seq, [start,] stop [, step]) --> elements from
           seq[start:stop:step]
    starmap(fun, seq) --> fun(*seq[0]), fun(*seq[1]), ...
    tee(it, n=2) --> (it1, it2 , ... itn) splits one iterator into n
    takewhile(pred, seq) --> seq[0], seq[1], until pred fails
    zip_longest(p, q, ...) --> (p[0], q[0]), (p[1], q[1]), ... 
    
    Combinatoric generators:
    product(p, q, ... [repeat=1]) --> cartesian product
    permutations(p[, r])
    combinations(p, r)
    combinations_with_replacement(p, r)

Это куда проще и быстрее, чем свои комбинаторные перестановки реализовывать и тестами обкладывать.
Надо глубже -- один клик и вы в исходниках рассматриваете реализацию.

[pfemidi]

то особенности магии питоновского ООП, декораторы, дескрипторы, концепция мутабельности

Сергей Паньков, ой, в такие дебри я вообще не суюсь! Я прекрасно знаю что мне это никогда не понадобится, а изучать и запоминать что-то, чего мне не нужно и никогда не будет нужно я перестал ещё давно в школе когда именно руководствуясь принципом "мне это никогда не понадобится" бросил учить природоведение, историю и географию. И надо сказать мне реально ни разу не пригодились ни география, ни история, ни природоведение, ни зоология ;-)

[Сергей П]

pfemidi, некоторые люди искренне считают, что им ни к чему знать как правильно употреблять "-тся" и "-ться".

[pcdesign]

pfemidi,

лично для меня являются как раз теми самыми "чёрными ящиками" в которых чёрт знает что делается

Не надо боятся черных ящиков. Вся жизнь один сплошной черный ящик. Мы живем на таком слое абстракции, что уже никто не может до конца увидеть реальную картину.
Учить ничего не нужно. Будет нужда разобраться как работает черный ящик - разберетесь. Нет, ну пройдете мимо.
Усложнять не стоит.
Если есть проблема - имеет смысл поискать готовое решение, чем ринутся решать ее сломя голову.

[pfemidi]

Сергей Паньков, различия между -тся" и "-ться" всё же желательно знать если разговариваешь (пишешь) по-русски. А вот география, история, природоведение или зоология нафиг нужны если человек не историк, не географ и зоолог? Как по мне в школах (российских и эксСССР) нужны русский язык, русская литература, математика, геометрия, физика. И, пожалуй что, всё! Больше ничего не нужно, всё остальное это лишь забивание мозгов абсолютно не нужной ерундой. Понадобится узнать когда было Куликовское сражение -- узнает. Понадобится узнать валентность водорода -- узнает. Понадобится узнать как размножаются ёжики сколько ложноножек у пресноводной амёбы -- узнает. Понадобится узнать какие функции есть в модуле collections -- узнает ;-) А изначально вдалбливать это в голову незачем.

[pfemidi]

Если есть проблема - имеет смысл поискать готовое решение, чем ринутся решать ее сломя голову.

pcdesign, а если "поискать готовое решение" займёт в пять раз больше времени, чем решить задачу прям щаз и сейчас "сломя голову"?

[pcdesign]

pfemidi, я готов потратить в пять раз больше времени сейчас, чем потом в продакшене тратить 100500 времени и нервов ища ошибку :)

[Сергей П]

pfemidi, "изначально задалбливать" - это формировать кругозор, эрудицию, общий уровень грамотности. Я тоже не любил географию и историю, зато любил химию и геометрию. Кто-то скажет, что ему не нужна тригонометрия и закон ома, кто-то скажет, что природоведение не нужно.... а потом мы имеем людей .которые стройными рядами ходят в церкви по воскресеньям, а по субботам (или когда там она) смотрят битву экстрасенсов и "заряжают" воду через телевизор. Ходят к гадалкам, лечатся гомеопатией (потому что про валентность валентностью, но кругозора не хватает даже на то, чтобы на бытовом уровне понимать, что вещество состоит из молекул, и сколько там в общих чертах этих молекул, чтобы сделать разведение C200 и лечиться этим).

Школа вбивает в людей всё подряд потому, что в этом возрасте дети отлично впитывают знания и концепции. Им это дастся легче, чем взрослым. Зато будет в целом меньше мракобесия. Ну изначально такая задумка.

Вы не знаете заранее что вам пригодится, а что нет. Мир сложен, многообразен и всё в нём взаимосвязано. Вот "Васе" не нужна история, а потом он вылез в политику и от скудоумия и недостаточной общей эрудиции творит какую-то дичь в думе.
Вот Яжматери не нужна была химия, а потом она на последние деньги лечит чадо фуфломицином не понимая, что С200 вытяжки из печени утки - это значит. что утка пролетала в соседней галактике.

Вообще любая такая категоричность в суждениях, ИМХО, признак малой эрудиции и зашоренного мышления.

[pcdesign]

Сергей Паньков,

Вообще любая такая категоричность в суждениях, ИМХО, признак малой эрудиции и зашоренного мышления

Но вы же сами достаточно категорично написали на счет людей, которые стройными рядами ходят в церковь. Их всех под одну гребенку записали в мракобесы.

[Сергей П]

Но вы же сами достаточно категорично написали на счет людей, которые стройными рядами ходят в церковь. Их всех под одну гребенку записали в мракобесы.

pcdesign, именно! Я считаю. что мне тоже следует более критически мыслить, убирать лишние предрассудки, менее предвзято смотреть на мир, становиться еще более эрудированным человеком.

Ну и да, я же риторически гиперболизировал аллегорию, чтобы она стала более яркой и доходчивой.
Конечно ряды не так уж и стройны, а расписание мракобесных телепередач куда разнообразнее. Не все, кто ходит в церковь - антипрививочники, а гомеопаты, порой, совсем не набожны. Тут всё так понамешано...

Answer 2

[Владимир Куц]

a = <ваш списочек>

result = [{' id': z, 'qty': sum([y['qty'] for y in filter(lambda x: x[' id']==z, a)])} for z in sorted(set([x[' id'] for x in a]))]
print(result)

[{' id': '1', 'qty': 8}, {' id': '2', 'qty': 2}, {' id': '3', 'qty': 10}]

З.Ы. Просьба с уважением относиться к пользователям которые Вам хотят помочь. Когда просят привести Ваши попытки решения проблемы - это не из вредности, а в попытке понять Ваш ход мыслей в решении проблемы, если таковые имели место.

Comments

[pcdesign]

Ваш код выдает не тот ответ.

[Владимир Куц]

pcdesign, где именно видите разночтения?:

[del4pp]

pcdesign, Почему же не тот?
[{'id': '3', 'qty': 10}, {'id': '2', 'qty': 2}, {'id': '1', 'qty': 8}]
То же что и вам надо, только в обратном порядке

[Владимир Куц]

Если важен именно порядок следования id, о чем в условии явно не сказано - то это делается элементарно:

[pcdesign]

Владимир Куц, если честно у вас ужасное решение.
Странно, что вы являетесь куратором тега python.
Я бы постеснялся.

[Владимир Куц]

pcdesign, странно что вы задаете такие элементарные вопросы, если знаете ответы на них лучше кураторов раздела

[Сергей Горностаев]

pcdesign, чем же оно ужасно?

[del4pp]

Сергей Горностаев, Владимир Куц, просто в школе такое еще не проходили, и спалят *trollface*

[Сергей П]

Сергей Горностаев, видимо автор вопроса намекает на читабельность. Надо сказать что вложенные списковые сборки и лямбда делают своё дело.
Автора, кстати, решение, ИМХО, выглядит тоже так себе=), а попытка придраться хотя бы к чему-нибудь выглядит довольно забавно.
Зацените, кстати вариант:

sum((Counter({d['id']: d['qty']}) for d in a), Counter())