transcend
@transcend

Как быстро искать текст по большой базе данных?

Добрый день!

Имеется база данных доменных имен. Основные записи - имена доменов. База поставляется в виде CSV-файла. База ежедневно обновляется, удаляются удаленные домены, добавляются вновь зарегистрированные.

Объем ~160 миллионов записей.

Стоит задача организовать быстрый и стабильно работающий поиск по этой базе. Например, нужно найти все домены с вхождением *google* (т.е. это слово может встречаться в любом месте названия домена). Для оптимизации минимальное кол-во символов может быть 4.

Вопросы:
1) Какие технологии использовать для организации поиска? Конкретно, какую БД или иные возможности
2) Какая конфигурация сервера необходима?
  • Вопрос задан
  • 251 просмотр
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
non progredi est regredi
не в службу а в дружбу - попробуй clickhouse
да, там по идиотски придется задавать данные, но вот по строкам он как бы не шустрее известных Сфинксов / Мантикор , а уж эластиков тем более

и по памяти норм
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы