Как сделать проверку столбца типа varchar на уникальность?

Question

[serj37]

Есть задача:
1. Загнать список слов (фамилии, имена, звания и пр.) в 1 колонку
2. При добавлении списка требуется проверить уникальность значений, если не уникально - не пишем
3. Вытащить список, но уже без дублей обратно в текстовый файл.
С первым и последним справимся (мастер импорта). Вопрос, как обеспечить уникальность значений в колонке при создании БД (структуры)? Желательно не использовать индекс (никакой работы с этой БД не требуется а объём БД сильно вырастает) и не использовать MERGE.
Сейчас имеем вариант с первичным ключом (без проверки на уникальность):

CREATE TABLE dic
( dic_id BIGINT NOT NULL IDENTITY(1, 1), /* Код слова */
dic_value VARCHAR(30) NOT NULL, /* слово */
CONSTRAINT PK_dic PRIMARY KEY (dic_id))
WITH (DATA_COMPRESSION = PAGE);
GO

Answer 1

[#]

надо отделить мух от котлет

вам надо при загрузке получить уникальность?
или при выгрузке?

в первом случае, уже был совет с уникальным индексом. но как правильно отмечено, будет отбрасывать дубликаты с ошибкой. а ошибки надо обрабатывать. тут вроде как программирование начинается (а где программирование, вашу задачу и так 1000ю способами решить можно)

по вопросу не очень понятно, будет ли работа дальнейшая с базой? если работа не предполагается, а СУБД используется только для фильтрации, то DISTINCT вам в помощь. загружаете все как есть, а выгружаете из базы уже результат запроса SELECT DISTINCT .... можно VIEW создать. это более логичный подход, особенно если разбить данные на колонки - фмилии, имена, отчества, звания, и тд.

ps конкретно по MS SQL и чиувствительности к регистрам, танцы с бубнами не нужны, все придумано до нас (и для нас) https://www.webucator.com/how-to/how-check-case-se...

сам не еще пробовал, врать не буду. но вроде можно изменить для отдельной таблицы базы конечно же, если на сервере крутятся другие приложения, и не желательно изменять их поведение
https://docs.microsoft.com/ru-ru/sql/t-sql/stateme...

на случай многопользовательского сервера, еще резервный вариант - поставить отдельный экземпляр, можно даже LocalDB или Express, и уже в нем задать collation чувствительный к регистру

Comments

[serj37]

Нужно загрузить без полных дублей с учётом регистра букв.
Загрузил список слов из текстовичка с дубликатами. Попробовал выгрузить с конструкцией:
SELECT DISTINCT dic_value FROM dic1;
имеем:
Имя
Имя
имя
иМя
Нужно:
Имя
имя
иМя
Получаем:
иМя
выражение не чувствительно к регистру букв, что печально... есть варианты с конвертацией в UTF8 а там binary collation.....

[#]

serj37, через UTF8 длинно, можно сразу в binary, и без collation
SELECT DISTINCT BINARY(column1) from table1;
по крайней мере в MySQL должно работать

[#]

serj37, а каков объем данных? если в пределах размера оперативы, лично мне проще было бы програмку на C# накидать. делов на минуты ))

ps а для больших данных case insensitive по меньшей мере странно. именно для ФИО, это обычно означает опечатку. хотя бывают и исключения ))

[serj37]

#,
Я привёл пример по ФИО, а так файлики, вытяжки из логов есть по 10-20 Гб.
В простом редакторе такое не отредактируешь на дубли. Пришлось БД использовать.

[serj37]

#,
В MS SQL не работает:
ЗАГОЛОВОК: Мастер импорта и экспорта SQL Server
Не удалось проанализировать инструкцию.
BINARY не является известным имя встроенной функции. (Microsoft SQL Server Native Client 11.0)

[#]

serj37, см правку ответа. там пара ссылок и пара мыслей. пробуйте

[#]

serj37, если рекомендации из правки не помогут (но должны), а решение ну ОЧЕНЬ НАДА, велкам в личку, там емейл, договоримся. даже для гигабайтов, думаю делов на вечер, максимум на два - с коррекций фидбека от вас. условия - на обрабатывающей машине нужен .NET, предпочтительно 4+, ну и желательно точная версия. что бы ни вам не накатывать лишную версию, ни мне не тратить лишний вечер ))

[serj37]

#, Спасибо за помощь! Над работой подумаю... В принципе надо больше... есть желание с ручной работы на БД перейти, а это проектирование, создание, наполнение и пр.

[#]

serj37, вообще то на подобных ресурсах, если рекомендации помогли достичь цели, принято ставить отметку ответа. а "спасибо" это лишь трата времени, и вашего и нашего, и непонятки, то ли ответ работает, то ли не работает.
кроме всего прочего - ваш вопрос, и успешный ответ на него, могут быть полезны другим. в этом случае, отметка ответа как раз индикатор успешного решения

[#]

serj37, и если не совсем понятно где искать емейл, то в профиле - https://toster.ru/user/mindtester

Answer 2

[Иван Мельников]

СУБД то какая?
В MySQL, например, просто создается уникальный индекс:

CREATE TABLE dic(
...
dic_value VARCHAR(30) NOT NULL UNIQUE
...);

Comments

[serj37]

CREATE TABLE dic1
( dic_id INT NOT NULL IDENTITY(1, 1), /* Код слова */
dic_value VARCHAR(52) NOT NULL UNIQUE /* слово */
)
GO
начинает показывать ошибку, это понятно, а как загрузить-то без дублей? )

Answer 3

[rPman]

Такое можно сделать только индексом unique. При добавлении неуникальной записи будет выдавать ошибку.

Иначе вам придется вручную делать то же самое что он, гораздо менее эффективно по скорости и затратам ресурсов.

p.s. если колонок очень много то вместо добавления их в индекс можно добавить только хеш строку на их основе (т.е. заведите в таблице еще одно поле и при добавлении считайте вручную программно или с помощью sql хеш от суммы concatenate ваших колонок, только между строками добавляйте какой-нибудь символ чтобы отделить колонки), только берите что-нибудь не самое простое, чтобы вероятность коллизий была как можно меньше (коллизия в вашем случае это фальшивое срабатывание на строки, которые дубликатами не являются)