Как возможны создание дублированных записей в столбце с unique constraint?

Question

[Максим]

Привет!
Мы в процессе переезда на новую базу с 9.4.8 -> 9.6.3.1 наше приложение начало бросать эксепшены: "duplicate key value violates unique constraint" при попытке сделать INSERT:

INSERT INTO items (ctime, mtime, pubdate, url, title, description, body, status, fulltext_status, \
orig_id, image_id, video_id,resource_id, priority, checksum) \ 
VALUES (%(ctime)s, %(mtime)s, %(pubdate)s, %(url)s, %(title)s, \
%(description)s, %(body)s, %(status)s, %(fulltext_status)s, %(orig_id)s, %(image_id)s, %(video_id)s, \
%(resource_id)s, %(priority)s, %(checksum)s) RETURNING items.id'

Колонка url - имеет unique constraint

Также при попытке обновить значение в поле status:

(psycopg2.IntegrityError) duplicate key value violates unique constraint "items_url"
    DETAIL:  Key (url)=(http://www.domainname.ru/ap_module/content/article/400-professional/140-professional/11880) already exists.
     [SQL: 'UPDATE items SET status=%(status)s WHERE items.id IN

Таблица:

Column      |            Type             |                             Modifiers
-----------------+-----------------------------+-------------------------------------------------------------------
 id              | integer                     | not null default nextval(('public.items_id_seq'::text)::regclass)
 ctime           | timestamp without time zone | not null default now()
 pubdate         | timestamp without time zone | not null default now()
 resource_id     | integer                     | not null default 0
 url             | text                        |
 title           | text                        |
 description     | text                        |
 body            | text                        |
 status          | smallint                    | not null default 0
 image           | text                        |
 orig_id         | integer                     | not null default 0
 mtime           | timestamp without time zone | not null default now()
 checksum        | text                        |
 video_url       | text                        |
 audio_url       | text                        |
 content_type    | smallint                    | default 0
 author          | text                        |
 video           | text                        |
 fulltext_status | smallint                    | default 0
 summary         | text                        |
 image_id        | integer                     |
 video_id        | integer                     |
 priority        | smallint                    |
Indexes:
    "items_pkey" PRIMARY KEY, btree (id)
    "items_url" UNIQUE, btree (url)
    "items_resource_id" btree (resource_id)
    "ndx__items__ctime" btree (ctime)
    "ndx__items__image" btree (image_id)
    "ndx__items__mtime" btree (mtime)
    "ndx__items__pubdate" btree (pubdate)
    "ndx__items__video" btree (video_id)
Foreign-key constraints:
    "items_fkey1" FOREIGN KEY (image_id) REFERENCES images(id) ON UPDATE CASCADE ON DELETE SET NULL
    "items_fkey2" FOREIGN KEY (video_id) REFERENCES videos(id) ON UPDATE CASCADE ON DELETE SET NULL
Referenced by:
    TABLE "cluster_image" CONSTRAINT "cluster_image_fkey2" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE
    TABLE "cluster_meta" CONSTRAINT "cluster_meta_item_id_fkey" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE
    TABLE "events" CONSTRAINT "events_fkey2" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE
    TABLE "item_cluster" CONSTRAINT "item_cluster_fkey1" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE
    TABLE "items_blogs" CONSTRAINT "items_blogs_fkey1" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE
    TABLE "items_reflink" CONSTRAINT "items_reflink_fkey1" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE
    TABLE "items_related" CONSTRAINT "items_related_fkey1" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE
    TABLE "items_summaries" CONSTRAINT "items_summaries_fkey1" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE
    TABLE "quotations" CONSTRAINT "quotations_fkey3" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE
    TABLE "summaries" CONSTRAINT "summaries_fkey2" FOREIGN KEY (item_id) REFERENCES items(id) ON UPDATE CASCADE ON DELETE CASCADE

Все было бы не так плохо, если бы в табличке не начали появлятся дубли записей.
Есть у кого-нибудь объяснения почему такое могло произойти?
Спасибо.

UPD1:
Попробовал воспроизвести на другой востановленной базе 9.4 - получаю тоже самое.

Comments

[Максим]

Pavel Denisov: Почему он вызвал duplicate при обновления status - это тоже отличный вопрос.

[Максим]

Pavel Denisov: Дубли выбрал SELECT'ом без использования индексов.
Неплохая идея с кирилицей и латинецей. Это врядли возможно, но сейчас проверю.
UPD: проверил - проблема не в этом

[Максим]

Pavel Denisov: не понимаю, что значит "SELECT на глаз"
Выборку дубликатов я делаю так:

select id,resource_id,url,status,checksum,ctime from items 
    where url IN ( 
        select url from items group by url,status having count(url) > 1 
    );

[Максим]

Не смотрят на, на то что индекс не помечен как нерабочий - проблема была в нем.
В итоге

DROP INDEX;
CREATE UNIQUE INDEX items_url ON items USING btree (url);

решили проблему.