Как оптимизировать проверку в базе наличия записи (чтобы не сделать дубль)?

Question

[perl_demon]

Имеется одна таблица(примерно 15 полей) в которой сейчас порядка 50 млн. записей. Каждый день в эту таблицу записывается еще порядка 100 тыс. записей. При этом при записи в таблицу приходится проверять на наличие такой записи в базе, чтобы не было дублей. Все это происходит в рамках MySQL. Индекс простроен только по некоторым полям, по которым потом осуществляется поиск. А проверка на дубль происходит по всем полям, что соответсвенно является самой долгой операцией.

Подскажите, знающие люди, как можно избавиться от этого узкого места? Может меня спасти уход от MySQL на что-то другое, может даже NoSQL? Или только индекс по всем полям?

Answer 1

[sdevalex]

Добавь ещё одно индексное поле с md5(все данные таблицы) и при проверке на дубль сравнивай хеши.
SELECT 1 FROM table WHERE hash='5c331a6790ba2d61a5c372336c9d215e'

Comments

[mark_ablov]

+1, и не забыть сделать CHAR(16) или BINARY(16), но никак не VARCHAR/TEXT

[niko83]

идею схожую хотел предложить с дополнением: можно добавить индекс на это поле unique и при вставке делать INSERT IGNORE

[perl_demon]

Это интересно. Не думал о таком решении :-) Интересно сколько времени займет апдейт существующей базы?

[perl_demon]

А не получиться что я введением поля hash буду из mysql мастерить key->value базу? может в моем случае имеет смысл попробовать какую-нибудь NoSQL?

Answer 2

[Алексей Шеин]

Эээ, как бы уникальный ключ для того и создан, настораживает только, что у вас уникальными должны быть все поля, возможно, база плохо спроектирована. Может, при ваших объемах это решение не пойдет, но как минимум оно очевидно и с него стоит начать.

Answer 3

[lesha_penguin]

Ответ на Ваш вопрос будет сильно зависеть от того, зачем вы проверяете на наличие имеющейся записи? Если для того чтобы сделать INSERT если записи нет и UPDATE если запись уже есть, то возможно вам стоит применить конструкцию ON DUPLICATE KEY, тем самым сможете во-первых возложить проверку на БД, во вторых, получите возможность лить данные пачкой, и в третих уберете лишний оверхед появляющийся от позаписного исполнения.

Comments

[perl_demon]

Сейчас это делает так: SELECT 1 FROM table WHERE… И если ничего нет, то INSERT, а если есть то ничего не делаем. Просто в данных которые обрабатываются и заливаются очень много дублирующихся записей.

[Алексей Шеин]

У ON DUPLICATE KEY обычно хуже производительность, чем у простого инсерта.

[lesha_penguin]

Если ничего делать не надо, то возможно стоит попробовать INSERT IGNORE?

[perl_demon]

В случае INSERT IGNORE нужно будет строить индекс по все таблице или иметь какое-то уникальное поле однозначно определяющее запись. Т.е. его имеет смысл использовать с первым предложенным решением.

[lesha_penguin]

Ну, во-первых, не уникальное поле а уникальный индекс. Он вам все равно нужен, потому что в противном случае вы будете получать fullscan всей таблицы.

Answer 4

[charon]

как минимум должно быть одно ключевое поле. Просто делаете вставку записи и проверяете результат операции на возникновение ошибки — в таком случае запись уже есть. Или просто игнорируете ошибку.
ЗЫ: я хоть и разработчик и сделал бы именно так, но не уверен, что это концептуально правильное решение.