Как быстро проверить существование записи в таблице?

Question

[Денис Денис]

Есть две таблицы, таблица A с огромным количеством данных и пустая таблица Б. Задача записать переданные данные в таблицу Б при условии что одно поле, не существует в таблице А. Сейчас сделан перебор и запрос на каждый элемент в цикле SELECT 1 FROM (`А`) WHERE `поле` = '123' LIMIT 1. Сделал поле `поле` уникальным индексом, убрал получение данных заменив * на 1. Подскажите как еще можно ускорить этот процесс?

Answer 1

[Wexter]

кешировать в memcache

Answer 2

[Максим Тимофеев]

ну например COUNT() значительно быстрее. Если Вам не выбирать, а проверять, то это будет быстрее

Comments

[Денис Денис]

Проверка, но SELECT 1 и COUNT() показывают одинаковое время...

[Максим Тимофеев]

Денис Ручьев: это странно. А индекс есть?

[Денис Денис]

Максим Тимофеев: да, как раз для поля по которому выбираю `поле`

[Максим Тимофеев]

Денис Ручьев: может кеш? Не может count занимать столько же времени.

[Денис Денис]

Максим Тимофеев: почему? SELECT 1 так же не получает данные, а просто константу 1

Answer 3

[Антон Антон]

Я не очень понял, но, возможно, нужно одним запросом получить все, чего нет в А? Например связка из

create temporary table temptable...
insert into temptable values ()()()...
select * from temptable where not exists (select * from a where a.field = temptable.field)
drop temptable

Comments

[Антон Антон]

Ну а если с временными таблицами не хочется заморачиваться, то проверка по 100 записей за один запрос (select field from table where field in (1,2,3,4,5,6...)) будет значительно быстрее

Answer 4

[d-stream]

"в лоб" получаем записи, которые отстутсвуют в другой таблице и пихаем их в b

insert into b (.....)
select * from temp where temp.field not in (select distinct field from a)

Типа "оптимальнее"

insert into b (.....)
select * from temp
left join a on temp.field=a.field
where a.field is null

В принципе нормальный оптимизатор выполнит и первое и второе с одинаковой скоростью