Как выполнить поиск по зашифрованому контенту?

Question

[Nik Faraday]

Есть задача, нужно хранить много важных записей в зашифрованном виде. Как выполнить поиск всех таких записей по наличию искомой последовательности символов? ГПТ даёт только два варианта:

• Создание индексов для поиска - Хранить часть контента в не зашифрованном виде для поиска по нему
  
• Шифрование контента - дешифровать контент всех записей и выполнять поиск по нему
  

Какой из этих вариантов лучше подходит и есть ли другие хорошие варианты реализации?

Answer 1

[rPman]

Есть ещё третий вариант - гомоморфное шифрование. Когда возможны операции над зашифрованным контентом, результат будет так же зашифрованный, и чтобы его прочитать его нужно расшифровать.

Гугли, есть библиотеки и даже расширение postgres (очень старое, не факт что поддерживается).

С практической точки зрения польза сомнительна. Ресурсов алгоритм жрет непомерно много и использовать его имеет смысл только если альтернативы в принципе нет.

Answer 2

[historydev]

Первый очевидно.

Пример:

1. Почта - шифруем с возможностью дешифровать.

2.Пароль - шифруем без возможности дешифровать, ведь по паролю ты точно искать ничего не будешь.

Comments

[Nik Faraday]

Суть не в пароле и почте, а в записях. Что-то на подобии логов или... Личного дневника. Вот по нему нужно делать поиск

[Василий Банников]

2.Пароль - шифруем без возможности дешифровать, ведь по паролю ты точно искать ничего не будешь.

"шифрование без возможности расшифровать" называется хешированием.

[Василий Банников]

Nik Faraday, а что понимается под поиском? Что даётся на вход и что ожидается на выходе?
Приходит целое слово? префикс? глоб? регулярка? Что-то более сложное? Ожидается совпадение по шаблону или полное совпадение с искомого с записью?
Ожидается позиция строка/колонка в непрерывном "логе"? Номер строки? Номер страницы?

[Nik Faraday]

Василий Банников, обычная строка поиска. По последовательности символов. Я бы юзал .Contains ,если бы не шифрование

[Василий Банников]

Nik Faraday, если данных не много, то шифруй блоками а для поиска вычитывай всё в память и ищи.

Если данных больше, то строй индекс для поиска и шифруй/расшифровывай уже индекс.

А вот каким должен быть индекс - это уже вопрос.

Answer 3

[mayton2019]

Поисковой индекс можно также шифровать как и контент.

Современные базы данных поддерживают симметричное шифрование.
Есть технологии для шифрования целых дисков (Veracrypt, Bitlocker).

Comments

[Nik Faraday]

Есть технологии для шифрования целых дисков (Veracrypt, Bitlocker).

Да, знаю. Но нужно знать что в конкретно этом случае делать

[mayton2019]

Ты пишешь

хранить много важных записей в зашифрованном виде

вот и таким-же методом шифуй свой индекс.

[freeExec]

Как здесь поможет симметричное шифрование?
Я зашифровал "Привет мир" в "хдвытмчд"
Теперь ищу "мир", шифрую его в "гцющ" и не нахожу соответствия

[mayton2019]

freeExec, шифруй блоками. И все будет найдено.

Индекс (B+Tree) в классическом его представлении - тоже блочный.

[freeExec]

mayton2019, Блоками это как, по буквам чтоли?

[mayton2019]

freeExec, блок это набор байтов. 4К, 8К...

Я чувсвтую себя очень странно, объясняя такие вещи.
Как будто ты - школьник а я учитель информатики.
Мне это не очень интересно. Идею я закинул.
Дальше думай сам.

[freeExec]

mayton2019, Ваша закинутая идея, товарищ учитель, не работает, о чём я вам донёс в первом посте. Блоки тут вообще роли не играют, наша фраза меньше блока.

[mayton2019]

freeExec, вот интересно а как-же базы данных работают?

Вопрос тебе на подумать.

[freeExec]

mayton2019, Покажи мне такую базу данных