Какой механизм лучше использовать для хранения и получения hashsum записией?

Question

[xiiicool]

Мне перед записью в базу нужно проверить уникальность данных, есть мысль хранить hash где то на стороне и проверять перед записью, какой вариант лучше подойдёт для этой задачи, hashей за год будет примерно 4 320 000 000
Если в файловой система в виде файла то такую утилиту лучше использовать в nodejs
Redis врятли подходит
Если базу данных то какой лучше вариант

Comments

[Виктор]

перед записью в базу нужно проверить уникальность данных

а стандартные констрейнты БД чем не подходят?

[xiiicool]

Виктор, При записи данных в базу пачками мне точно нужно знать что в этой пачке все уникальные данные, игнорировать ошибки дубликатов или делать апдейт их не подходит вариант

[Василий Банников]

xiiicool, ну обычные констрейнты в базе так и работают - вставляешь пачкой и каждая запись проверяется на уникальность.

Answer 1

[Everything_is_not_so_bad]

Мне перед записью в базу нужно проверить уникальность данных, есть мысль хранить hash где то на стороне и проверять перед записью, какой вариант лучше подойдёт для этой задачи, hashей за год будет примерно 4 320 000 000

K/V хранилище должно подойти, если нужно только проверять уникальность по хэшу. Для хранения хэшей SHA-1 потребуется минимум 86 ГБ места, без учета накладных расходов хранилища.
В зависимости от уровня нагрузки могут понадобиться более серьезные K/V хранилища. Вполне возможно, что облачные сервисы.