Так как автор молчит про особенность своей задачи, значит можно предположить что угодно? например write once read many базы данных? с запросом только данных по временному интервалу?
Пили
самописное что-нибудь на основе файлов.
Современная файловая система, если это не какой-нибудь fat, - это отличная key-value база данных, причем самая быстрая из возможных, но без инструментов индексирования (кроме поиска по имени, если дробить его по подкаталогам то не будет лишних накладных расходов, например на обслуживание), а так как у автора временные ряды, раскидать по файлам-каталогам соответственно временным интервалам (дни или часы), разбив данные по еще какому либо признаку, если нужна фильтрация по нему, можно получить искомый результат фактически забесплатно (нечего там кодить). Например, если тебе нужны редкие транзакции (атомарно менять большой объем данных не ломая чтение) то какой-нибудь btrfs представит этот функционал за бесплатно на основе снапшотов.
В подавляющем большинстве ситуаций, индексы или хелперы (например бинарный map есть нет данных на дату) даже на большие базы данных вполне себе влезают даже в оперативную память средней машины, что сильно упрощают логику и дают огромный прирост по скорости по сравнению с универсальным решениями
Некоторые сложности может создать задача частых запросов на чтение, в этом случае нужно физически разнести голову массива данных и основное хранилище (например голова на ssd все остальное на hdd), а перенос проводить в момент наименьшей нагрузки, ну само собой можно и все на ssd если денег хватает, просто когда такой поток данных, сразу терабайты мерещатся
Средний
