А вообще, надо бы еще почитать о том, чем на физическом уровне отличается способ хранения данных на жестком диске от оперативной памяти. У жесткого диска тоже ячеистая система хранения?
012012
000010
001200....
00**00....
для этой новой строки найти в базе все строки, для которых в том месте, где в одной из строк 0, достаточно часто (95%) встречается 0 в другой строке. Места, где в обеих строках не 0, не в учет.
и те кто дубликаты - удаляйте. А линки ставте на униальный экземпляр.
Это можно делать в режиме джоба по ночам когда система не активна.