Для быстрого поиска, как индекс, можно использовать Фильтр Блума (
en.wikipedia.org/wiki/Bloom_filter )
И Chrome использует фильтры Блума для предварительной оценки того, является ли веб-сайт вредоносным. На практике, — Компактное хранение миллиона адресов в ~ 18-ти мегабайтах.