Как удалить дубликаты и просуммировать ячейки?

Question

[Никита Рубинковский]

Здравствуйте. Есть такая таблица:

+----+-------------------------+------+------+----------+--------------+---------+-------+----------+--------+------+
| id | date_id                 | year | week | store_id | store_id_new | good_id | promo | quantity | order  | cost |
+----+-------------------------+------+------+----------+--------------+---------+-------+----------+--------+------+
| 1  | 2015-12-07 00:00:00.000 | NULL | NULL | 5        | NULL         | 26      | 0     | 2        | 764536 | NULL |
+----+-------------------------+------+------+----------+--------------+---------+-------+----------+--------+------+
| 2  | 2015-12-07 00:00:00.000 | NULL | NULL | 5        | NULL         | 26      | 0     | 1        | 764536 | NULL |
+----+-------------------------+------+------+----------+--------------+---------+-------+----------+--------+------+

Как видно, четыре поля (date_id, store_id, good_id и order) имеют одинаковое значение. Хотелось бы обновить таблицу, при этом просуммировав поле quantity у строк, которые имеют одинаковое значение по 4 вышеуказанным полям, т.е. получить что-то такое:

+----+-------------------------+------+------+----------+--------------+---------+-------+----------+--------+------+
| id | date_id                 | year | week | store_id | store_id_new | good_id | promo | quantity | order  | cost |
+----+-------------------------+------+------+----------+--------------+---------+-------+----------+--------+------+
| 1  | 2015-12-07 00:00:00.000 | NULL | NULL | 5        | NULL         | 26      | 0     | 3        | 764536 | NULL |
+----+-------------------------+------+------+----------+--------------+---------+-------+----------+--------+------+

Answer 1

[Станислав Валсинатс]

Так вроде же
select id , date_id, year , week , store_id , store_id_new , good_id , promo , SUM(quantity) , order , cost
from table

group by
id , date_id, year , week , store_id , store_id_new , good_id , promo , order , cost

То есть, в поле GROUP BY добавляем все поля, для которых не нужны арифметические операции. В данном случае увидел только quantity

Comments

[Константин Цветков]

id разные, суммирования не будет.

Answer 2

[d-stream]

Если это действительно надо, то проще всего в рамках транзакции вставить выборку во временную таблицу, удалить "дубликаты" из основной и вставить в основную результат агрегации из временной. Тут правда возникнет вопрос id (надеюсь он и есть pk ?)

Comments

[Никита Рубинковский]

d-stream Да, и есть pk. Ваш способ был бы оптимальным, не могли бы пример привести?

[Никита Рубинковский]

Данные вставляю в показанную таблицу из другой (исходной) insert-select

[d-stream]

Никита Рубинковский, если записей не очень много, то можно даже так:

begin transaction
declare @temp_table table (...)
insert into @tem_table select * from table
truncate table
insert into table select … from @temp_table group by … 
commit transaction

естественно таковое имеет смысл если источник дублей устранен и нет необходимости это делать регулярно

И да, кстати, веселая жизнь будет гарантирована, если есть референсы на id (особенно не явные foreign key, а типа "просто ссылаемся на id" )

А что-то мне подсказывает, что где-то в поступлениях из разных партий фигурируют отсылки на id отпусков из этой таблицы

[Никита Рубинковский]

d-stream записей порядка 60 млн

[d-stream]

Никита Рубинковский, стоп-стоп!
если речь о

Данные вставляю в показанную таблицу из другой (исходной) insert-select

то все хорошо

а если таблица-получатель на момент вставки пустая - то вообще идеально:

примитивно агрегируем то что надо + добавляем row_number() из оконных - то есть получаем нечто типа

SELECT 
id = ROW_NUMBER() OVER(PARTITION BY recovery_model_desc ORDER BY date_id ASC) 
date_id, 
year_week=min(year_week),
…
quantity=sum(quantity)
FROM src_table 
group by date_id

и собственно этот результат и инсертим в таблицу-получатель, имея гарантию уникального id и сгруппированные по date_id записи с суммированным количеством

з.ы. 80 миллионов - может оказаться веселым делом и возможно придется сделать табличку-фильтр с id исходных записей и в цикле:
- загнать туда порцию (top xx)
- insert select с inner join на фильтр
- delete из исходной с inner join фильтра
- вернуться к началу

Answer 3

[Константин Цветков]

Критерий удаления дубликатов: оставить с минимальным id?
Делаете курсор с группировкой по date_id, store_id, good_id и order и фильтром: количество строк больше одной. Для каждой строки курсора определяете минимальный id и обновляете quantity суммой по date_id, store_id, good_id и order. Удаляете лишние. Переходите на следующую строку курсора.