MySQL, удаление 30 млн. записей из таблицы в 40 млн. записей

Question

[niko83]

Есть MyISAM таблица логов 40 млн. записей, пришло время удалить из неё устаревшие 30 млн. записей.
В таблице 5 столбцов, на всех индексы.
Запрос на удаление вроде
DELETE from table where created < date_sub(NOW(), 20 day);
выполнялся больше часа, я его прервал, за это время удалилось лишь 2 млн. записей — долго…
Удаление порциями вроде
DELETE from table where id < 1000;
прироста по скорости не даёт.

Как следует поступать в таких случаях?

Answer 1

[Константин]

ALTER TABLE table DISABLE KEYS;
DELETE from table where created < date_sub(NOW(), 20 day);
ALTER TABLE table ENABLE KEYS;

Comments

[plaha]

а если явно дату дать быстрее не будет?

[niko83]

Выключение индексов позволило удалять записи 10 млн. за 2-3 мин.

Answer 2

[Riateche]

Попробуйте создать новую таблицу и скопировать туда 10 млн записей, потом удалить старую и переименовать новую. Совет про DISABLE KEYS поддерживаю.

Comments

[Константин]

Проблема в том, что при каждом удалении из MyISSAM пересчитывается index. Ваша возможность мне в голову тоже пришла, но я думаю что удаление информации идёт быстрее, чем копирывание (+ при копирывании надо иметь выключеные индексы тоже, что-бы быстро шарило)… Предлагаю niko83 отестировать то что ему больше подходит и поделиться результатом.

[Сергей Береснев]

Копирование, удаление, переименование — будет выполняться достаточно быстро. Да и проверить быстро. А ещё новая таблица не будет фрагменитрована.

Answer 3

[morbid]

1) Копирование в новую таблицу тех записей, которые должны остаться.
2) Удаление старой таблицы
3) Переименование новой таблицы в старую

Comments

[niko83]

Годное решение для частных ситуаций, не всегда такое может подойти. В моём случае выключение индексов сработало достаточно эффективно

[ComodoHacker]

Это решение для ситуаций, когда необходимо минимизировать время простоя приложений. ENABLE KEYS тожене быстро выполняется, если данных много.

Answer 4

[Григорий Перетяка]

Сталкивался с такой проблемой. В моем случае дело было в индексах. Можно попробовать DISABLE KEYS. У меня эта функция почему-то не все индексы отключала.

Если не получится, то можно просто на время снести все ключи, индексы, итп, удалить записи, а потом снова поставить. Но на это время нужно предотвратить запись данных. Я делал так, но, скорее всего, есть более красивый способ.

Comments

[niko83]

«DISABLE KEYS блокирует в MySQL обновление не уникальных индексов для таблиц MyISAM» — по видимому часть ваших индексов было именно уникальными