• Какую выбрать БД для больших объемов?

    @lega
    Складывайте в файлы по часам (например) - новый час - новый файл. Далее пакуйте.
    На timestamp можно отвести 2 байта (т.к. в пределах часа). Посмотрите может value можно уменьшить.
    Даже если на запись 16 байт, то современный HDD (150Mb/s) сможет сохранять ~9млн записей в сек (с вашими 30к справится)
    Останется только сделать тулзу которая будет по вашим условиям доставать данные.

    Файлы можно хранить на диске, можно в файловой БД, можно в GridFS которая будет шардить их по кластеру.
    Ответ написан
    3 комментария