не понятно куда класть сырые данные из внешних источников. класть сразу в ClickHouse неправильно, превратится в помойку. Из всех сырых данных на текущий день нужно 25-30% колонок. В перспективе понадобится больше, поэтому в сыром виде нужно хранить их пожизненно.
JhaoDa, Структура есть, нормальной документации по базе нет. Это меня и беспокоит. Очевидно таблицы создавать нужно, но пока что я считаю что при правильном проектировании их понадобится меньше, вот главный посыл. Пока что мое мнение такое, оно конечно может меняться. Жестко ограничивать разработку нет намерений
JhaoDa, вообще ограничить кол-во создаваемых таблиц это одна из важных мер по контролю данных в БД. по правильному я считаю плодить таблицы - это крайний случай, когда нужной структуры в базе точно нет. и создавать таблицу нужно не под конкретную фичу, а как атрибут сущности. и далее использовать этот атрибут несколькими фичами.
т.е. я бы подвел каждое создание таблицы к обоснованию что она действительно нужна. думать о бизнесе тоже нужно - большое кол-во таблиц станет проблемой в будущем, а это ресурсы и деньги
Пришли пож. пример статью или за что можно зацепиться, чтобы поглубже изучить. На ближайшем будущем планирую проектировать хранилища и овладеть компетенцией Архитектор БД. Спасибо.
JhaoDa, В идеале при правильном проектировании сущностей в БД, кол-во создаваемых таблиц должно сократиться. Вот только у меня пока что опыта нет к этому подойти правильно. Поэтому сейчас озабочен описанием к таблицам, чтобы было понятно что и для чего.
документации по коду есть, документация по таблицам - 10% и только те что нужны аналитикам для отчетов
таблицы создаются миграциями через Phinx
мне дело есть, т.к. уже видел базу где за 15 лет создали 1200 таблиц и это было плачевно, из хороших побуждений хочу пока еще можно вмешаться и сделать "хорошо"
1. 10 000 запросов в секунду
2. Обрабатывает запись и чтение
3. в пики база отдает 350Мбит в секунду. данных меняется и накапливается мало: 1 Гб в сутки
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.