Как удалить дубликаты из бд размером больше 200 млн записей?

Question

[alexkst]

таблица больше 200 млн записей, некоторые дублируются.
id | parent | parent_id | value
Как лучше их удалять? Использовать временную таблицу или одним запросом?

Comments

[Сергей Водаков]

Дублируются по каким полям? id то у них наверняка разные.

[alexkst]

Сергей Водаков, id уникальные, дублируются по parent | parent_id

например

1    |    2   |  5
2    |    2   |  5
3    |    2   |  1

Answer 1

[Вадим]

Найти дубликаты:

Select identField1, identField2, count(*) FROM yourTable
GROUP BY identField1, identField2
HAVING count(*) >1

если работает, то удалить через subquery:

DELETE FROM yourTable WHERE field in (Select identField1, identField2, count(*) FROM yourTable
GROUP BY identField1, identField2
HAVING count(*) >1 )

Answer 2

[ThunderCat]

Не проще отслеживать уникальность когда вставляете??? Либо по уник ключу и инсерт игноре, либо выборка + вставка по пустому результату.

PS: parent | parent_id - чем отличается???

Comments

[alexkst]

Новые записи добавляются довольно часто, получится, что придется перед каждым insert делать выборку

Parent & Parent Id

1    |    2   |  5
2    |    2   |  5
3    |    2   |  1

[ThunderCat]

alexkst, Читайте внимательнее - по уник ключу и инсерт игноре проверка не нужна, тем более что у вас не очень важно есть уже данные или нет, судя по тому что вы их удаляете...
По Parent & Parent Id - странные данные, не понятно к чему относящиеся, скорее всего что-то либо названо криво, либо лишнее.