Как исключить одинаковые записи?

Question

[4ainik]

Не тривиальная задачка:
В общем есть две таблицы, одинаковые по структуре, но разные по содержанию, т.е. почти разные, очевидно только, что есть отличия (число записей разное), вот нужно собственно узнать масштаб бедствия (различий) для чего собственно и требуется исключить одинаковые записи (т.е. имеющиеся в одновременно в обоих таблицах).
Проблема в том, что число записей около 1 миллиона в каждой таблице :(
Есть ли способ отфильтровать расхождения путем sql запроса? Если есть то как это сделать?
Знаю что есть способ объединения таблиц типа:
select * from t1,t2 inner join ... но это не совсем то да и задача то обратная.

Answer 1

[Immortal_pony]

Вот так можно получить данные из таблицы some_table, которых нет в таблице other_table.

SELECT 
    `some_table`.*
FROM 
    `some_table`
     LEFT JOIN `other_table` ON (`other_table`.`id`=`some_table`.`id`)
WHERE 
     `other_table`.`id` IS NULL

Проблема в том, что число записей около 1 миллиона в каждой таблице :(

Это не проблема, особенно если таблица проиндексирована.

Comments

[4ainik]

тут я хотел сказать что объем данных довольно существенный с точки зрения человека и есть некоторая вероятность положить сервак неосторожным запросом :)
Да что-то все оказалось проще чем казалось на первый взгляд, старею :(

Answer 2

[gill-sama]

Если структура данных одинаково то стоит воспользоваться
EXCEPT
работает по аналогии с union только наоборот, убирает из выборки пересекающиеся данные, что вам и нужно

Comments

[Immortal_pony]

MySQL поддерживает EXCEPT?

Answer 3

[terrier]

SELECT * FROM t1 LEFT JOIN t2 USING (<some_field>) WHERE t2.<some_field> IS NULL

( и то же для t2 )
JOIN должен выполняться заметно быстрее аналогичного по смыслу EXCEPT ( впрочем проверьте на реальных данных)

Comments

[Immortal_pony]

JOIN должен выполняться заметно быстрее аналогичного по смыслу EXCEPT

Уточните, пожалуйста, откуда у вас информация, что MySQL поддерживает EXCEPT?

[terrier]

А, да, тут MySQL в тегах. Ну, тогда тем более антиджойн выигрывает.

[4ainik]

Да очень интересно, что за такой EXCEPT? это в каких БД он применяется?

[terrier]

4ainik, Ну, собственно, во всех вменяемых СУБД, кроме MySQL
Вот, например, postgresql
https://www.postgresql.org/docs/current/static/que...

[4ainik]

terrier, а в каких проектах целесообразно применять postgresql?

[terrier]

4ainik, Сейчас я бы сформулировал так - если вы начинаете новый проект, вам нужна бесплатная и/или открытая RDBMS и у вас нет
- Команды энтузиастов какой-то другой системы
- Обязанности поддерживать версию для Windows
- Явной завязки на другую систему
, то очень логично выбирать postgres - он очень функциональный и хорошо развивающийся.

[4ainik]

terrier, нет просто интересуюсь на будущее. А вы работали с postgres в highload'e?