Как программно уйти от ошибки key too large to index в pymongo python?

Question

[GuF_2019]

У меня база на 2 млн. записей. Когда я создаю индекс поле(db.coll.create_index(...)),у меня выскакивает ошибка данного типа:key too large to index, failing 1098.Видимо при построении индекса не влезло какое-то название.Подскажите как программно через pymongo или обойти это, либо увеличить размер принимаемых ключей в индексе?

Answer 1

[WinPooh32]

Костыльным решением вашей проблемы будет хеширование.
1) Перед вставкой хешируете свои ключи c помощью некритографического алгоритма.
2) При поиске по ключу делаете то же самое.

При таком походе есть вероятность подорваться на коллизиях. Можно умешить вероятность, сделав составной ключ.

Очевидно, что для ключа потребуется новое поле.
А лучше выберете более адекватные атрибуты в качестве ключа.

UPD: у монги есть индексы на хешах.

Comments

[GuF_2019]

название поля которое я индексирую нормальное по размеру, это индекс начинает внутренне строится в монге ему не нравятся ключи данного поля, иногда там проскакивают текста.Я нашёл кое какой обход этой ситуации: sudo mongod --setParameter failIndexKeyTooLong=false. Но не знаю как это сделать программно, без командной строки.Может вы знаете?

[WinPooh32]

GuF_2019, а вы не боитесь, что ключом может оказаться текст размером в несколько МБ, а то и ГБ?

[WinPooh32]

GuF_2019, в описании параметра failIndexKeyTooLong даже рекомендуют использовать индексы на хешах.

[GuF_2019]

WinPooh32, хорошо, попробую данным способом.

[GuF_2019]

WinPooh32, он почему то перестал искать текстовые данные, построил хеш на числовых данных всё ищет хорошо,а на строковых он ничего не находит.Запрос пишу правильный, ибо я попробовал его на такой же базе где нет захешированных полей. В чём проблема?
Создаю индекс таким способом:
db.col.ensure_index([(key, pymongo.HASHED)])

[WinPooh32]

GuF_2019, хеши работают только на точное совпадение ключа. В других случаях он просто не будет использоваться, но если запрос правильный, то ответ должен быть все равно.

Например, такой фильтр должен работать:
{ fieldA: "asd" }