Как правильно произвести выборку из двух больших таблиц?

Question

[Алексей Маслов]

В наличии две таблицы
csv (MyISAM) (id, fa(varchar), im(varchar), ot(varchar), dr(date), sex(int 1)) - 2 млн. записей
dbf (MyISAM) (id, fa(varchar), im(varchar), ot(varchar), dr(date), sex(int 1), * - другие поля) - 1 млн. записей
На обеих таблицах на текстовых полях (fa, im, ot) - созданы индексы FULLTEXT

Необходимо из таблицы dbf выбрать только те - которые присутствуют в csv.
Таким способом:

select d.id, d.какое_то_поле from 
dbf d, csv c
where d.fa = c.fa
  and d.im = c.im
  and d.ot = c.ot
  and d.dr = c.dr
  and d.sex = c.sex

так ни разу и не дождался окончания выполнения запроса.

Comments

[Алексей Уколов]

А от того, что у вас индексы полнотекстовые созданы на полях, этому запросу ни горячо, ни холодно.

Answer 1

[Иван Филатов]

Архитектура БД facepalm.
Про нормализацию вообще не слышали походу.
Вначале создадут БД в стиле "и так сойдет". Заполнят ее на over9000 записей и потом жалуются по Интернетам - почему у них все тормозит и запросы не работают.

неужели сейчас так учат программистов? или это самоучки на Фрилансе натаскались такое говно делать?

Comments

[Алексей Маслов]

Изначально задача была сравнить 40 dbf файлов с одним csv файлом, как видите - все было загнано в одну базу.
Предложите вариант решения, о гуру.

[Иван Филатов]

Алексей Маслов: хранить в одной таблице как минимум. и не дублировать одинаковую информацию.

т.е. для задачи сравнения 2х файлов - вы вначале загружаете оба файла в БД и потом хотите средствами СУБД получить результат сравнения? ) Как минимум это идиотизм.
3 000 000 записей - и вы хотите закинуть туда свои 100 записей и потом сделать выборку на 3 000 100 записях чтобы сравнить 100 ? ))

Сравнение надо делать на temp таблицах, в памяти. А БД использовать как хранение результатов сравнения.

Про что я и говорил - люди не понимают архитектуры. Выдумывают костыли.

[Алексей Маслов]

Иван Филатов: Еще раз повторюсь: изначально задача следующая: сравнить 40 dbf файлов с одним csv файлом (файлы получены из разных систем и в разных кодировках). И да, первое что пришло - это слить 40 файлов в одну таблицу, а csv в другую (привести так сказать к единому формату). И кроме понтов от вас я не увидел реального совета.

[Иван Филатов]

Алексей Маслов: значит вы слепой. еще раз читайте что я написал выше:

1. "БД использовать как хранение результатов сравнения". "хранить в одной таблице"
2. "Сравнение надо делать на temp таблицах, в памяти" - измените таблицу на временную, с той же структурой. а результат потом кладите в основную таблицу.

[Алексей Маслов]

Иван Филатов: Ну вот и начались оскорбления...
Вот так бы сразу, спасибо.

[Алексей Уколов]

Иван Филатов: Только одно но - временная таблица != таблица в памяти

[Иван Филатов]

Алексей Уколов: согласен, имелось в виду или или.

Answer 2

[Евгений]

А зачем 2 одинаковые таблицы?

Comments

[Алексей Маслов]

В таблице dbf присутствуют другие поля, отмечено (* - другие поля), их порядка 20, вот они как раз и нужны

[Алексей Уколов]

Алексей Маслов: Стоит в dbf вместо одинаковых полей писать id из csv и джойнить при необходимости.

[Алексей Маслов]

Алексей Уколов: Спасибо, так и сделаю.