В оперативку вся таблица не влезет как ни крути (вопрос уточнил, спасибо за замечания). Про sqlite, честно говоря, не верю, что она будет сколько-нибудь хорошо, скажем, даже на 5-гигабайтном файле проворачиваться. При желании (которым не горю, ибо Оккам не велит) можно легко осмысленно разбить на несколько частей. Репликация, миграция, бэкапы — грубо говоря не нужны (по природе задачи: ценность хранимых данных очень низкая т.к. всегда можно приостановить production и восстановить из первичного источника, количество клиентов тоже низкое (<100)). Меня интересуют возможности запросов по условиям по колонкам, скорость (работы с многогигабайтной таблицей при использовании не более двух (лучше — одного, чтобы нормально на ноутбуке ворочалось и другим процессам не сильно мешало) гигабайта оперативки) и лёгкость освоения. Когда смотрел сравнения NoSQL-субд смутило то, что некоторые — column-based (как я понимаю то, что мне нужно), некоторые — document-based (как я понимаю (но чую, что как минимум не совсем прав) тут делать запросы по колонкам нельзя), некоторые key-value. Судя по схеме
imgur.com/kyahZ мне больше всего подходит Vertica, но она, на сколько я понимаю, платная и не особо поддерживается сообществом.
