Как удалить дубликаты в таблице MySql на 29 миллионов строк?

Question

[doublench21]

Каким запросом у меня не встанет система при такой операции ?

Answer 1

[Дмитрий Энтелис]

Если есть возможность остановить запись/изменение таблицы - наиболее быстрым методом будет следующая схема.

1.
Создаем новую таблицу table2 со структурой аналогичной исходной table1.

2.

insert into table2 (select distinct ... from table 1);

в случае если структура сложная - можно вместо distinct использовать group by

3.
drop table1;

4.
Переименовываем table2 в table1;

Answer 2

[Артём Каретников]

Я бы не стал на вашем месте удалять из таблицы ничего. А просто создал бы новую, уже без дублей. В плане потребления ресурсов - оно значительно экономней будет. И никто не мешает сделать так:
1. Первые сто тысяч отобрал, запомнить id последней записи.
2 .Пауза.
3. Отобрал следующие сто тысяч начиная с последнего айди. Гоу ту пункт два.

Все.

Answer 3

[Chvalov]

Посмотрите - stackoverflow.com/questions/4685173/delete-all-dup...
stackoverflow.com/questions/3311903/remove-duplica...
stackoverflow.com/questions/14046355/how-do-i-dele...

Comments

[Павел]

а как быть в 29кк записей? Сервер может выполнять запрос "вечно"

[Павел]

а потом и вовсе дропнет процесс