Ответы пользователя по тегу MongoDB
  • Проектирования СУБД для хранения больших объемов?

    @v_m_smith
    лучше бы я пил и курил
    Я бы тоже смотрел в сторону Clickhouse или другой column-store СУБД (вместо того, чтобы делать классическую DWH-снежинку).
    Ради прикола еще я бы попробовал записать эту таблицу "порядка 80 полей" в партиционированный Parquet и вычитывал бы столбцы в таблицы Apache Arrow по мере необходимости (с языком обвязки по вкусу, там кажется все языки есть). Думаю производительность будет сравнима с Clickhouse, ну или уж точно лучше MongoDB. Вот бенчмарки двухлетней давности. Если кластера не надо, то и Spark там не нужен.
    Ответ написан
    Комментировать
  • Как правильно хранить такие данные?

    @v_m_smith
    лучше бы я пил и курил
    Если нужна одна таблица без джоинов, несколько миллионов записей, то храните просто таблицей в column oriented СУБД Clickhouse. 2000 столбцов там норма.
    Задуматься о производительность придётся после миллиардов записей
    Ответ написан
    1 комментарий