Сравнение списков, как лучше организовать?

Question

[Игорь Неважно]

Приветствую всех, кто решился сюда заглянуть.

Я новичёк в php и MySQL, поставил себе непосильную задачу и мучаюсь уже несколько дней и разумного способа не нашёл(не разумного, а быстрого)

Стоит передо мной задача сравнить Списки строк.
Есть список в БД - около 20 млн записей.
Есть второй список - в нём около 100тыс записей.

Нужно найти одинаковые записи.

Даже не знаю с какой стороны подойти.

Answer 1

[Kir]

1. Добавляете в таблицу еще одно поле hash (varchar(40)), пишете цикл, который туда положит md5 от ваших строк.
2. На данное поле накладывается индекс.
3. Пишете запрос select * from `mytable` order by `hash` ASC;
4. В цикле по всем записям по сл. алгоритму:
4.а. если флаг пустой, то флаг = hash текущей строки, аккумулятор = строковому полю строки (под строкой понимается очередная запись из БД)
4.б. если флаг не пустой, то если флаг равен hash текущей строки, и аккумулятор = текущему полю строки, - удаляем данную запись
4.в если флаг не пустой и флаг не равен hash текущей строки: флаг = hash текущей строки, аккумулятор = строковому полю строки

Еще пришел в голову вариант: select count(id) as count, hash from `mytable` group by `hash`
и там обработать те хеши, у которых count > 1

Answer 2

[Сергей Протько]

циклы, запросы и все такое... Вы бы описали как сравниваете.

Comments

[Игорь Неважно]

Я новичёк и попытался сравнивать обычным поиском, потом понял, что смысла от этого не так много.

[Игорь Неважно]

кроме того, мне кажется очень плохим решением использовать сто тысяч запросов

[Сергей Протько]

@HellFir-e вам нужно сделать это только один раз? тогда нормально и решение влоб. да и потом можно через where in объеденить скажем несколько строк в одну выборку а потом в случае попадаения определять куда именно попало. Так можно сократить уже до каких 5000 запросов.

[Игорь Неважно]

спасиб, подумаю над этим

Answer 3

[Владимир]

Я бы залил список в базу, сравнил бы средствами SQL, выдал бы результат. Выдать 20 миллионов записей в php, сравнить - не лучший вариант, имхо. А дальше гугли.

Comments

[Игорь Неважно]

я так понимаю надо будет заливать с каким-то особым идентификатором , а потом заняться поиском дубликатов.
Но тут идёт ещё одна ситуация, что часто попадаются дубликаты, примерно 10-20% из списка, а это уже 10-20к, что удалять проблематично.

[Владимир]

Да ничего с сервером не будет. В любом случае попробовать можно разными вариантами, если время позволяет.

[Игорь Неважно]

с этим я не спорю, но это долговато и несколько человек уже не допустишь сразу