Как спроектировать базу данных о погоде (метео параметры разные)?

Question

[Дмитрий Крапивин]

Добрый день

необходимо разработать БД, для хранения информации о погоде, при чем погода в разных местах, факт и прогноз.
Опыта маловато, поэтому хотел бы к вам обратиться!

Условия следующие параметры: Метеостанция (Название, Координаты), аэропорт (Название, координаты), Дата и время замера, температура, давление, скорость ветра...
Прогноз и факт.

Предполагаю что можно сделать следующее:

Meteostation
id, Dolgota, Shirota

Aeroport
id, Dolgota, Shirota

weather
id, temperature, veter, davlenie, measuring_time, ...

weather_prognoz
id, temperature, veter, measuring_time, ...

...

Но есть одно но:
1) Погода на аэродроме и метеостанции используются разные метеопараметры. К примеру:
На аэродроме: Давление, Скорость ветра, Дата и время замера
На станции: Температура, скорость ветра, Дата и время замера

Как это реализовать?..

2) Погода бывает фактической и прогноз. Прогнозные данные не по всем метео параметрам. А к примеру: Прогноз температуры, прогноз ветра.
Как это реализовать?

Помогите пожалуйста.

Comments

[Станислав Макаров]

kiru 1. Планируется ли делать поиск по значениям наблюдаемых величин? Т.е. нужно ли делать запросы вида "где сегодня была температура выше 20 градусов"?
2. Сколько данных поступает в минуту/час?
3. На различных метеостанциях наблюдаются различные параметры или везде одинаковые (т.е. отличие только между метеостанцией и аэродромом)?

[Станислав Макаров]

4. Что такое id и area_id в таблице weather?
5. Как вычисляется и обновляется прогноз? Почему у него есть поле measuring_time если это прогноз? Что оно обозначает?

[sim3x]

Погода на аэродроме и метеостанции используются разные метеопараметры

https://en.wikipedia.org/wiki/Automated_airport_we...

[Дмитрий Крапивин]

Станислав Макаров,

4. Что такое id и area_id в таблице weather?
5. Как вычисляется и обновляется прогноз? Почему у него есть поле measuring_time если это прогноз? Что оно обозначает?

id - это собственный идентификатор
area_id - это я по ошибке написал. Удалил из таблицы

[Дмитрий Крапивин]

Станислав Макаров,

1. Планируется ли делать поиск по значениям наблюдаемых величин? Т.е. нужно ли делать запросы вида "где сегодня была температура выше 20 градусов"?
2. Сколько данных поступает в минуту/час?
3. На различных метеостанциях наблюдаются различные параметры или везде одинаковые (т.е. отличие только между метеостанцией и аэродромом)?

1. Как я понимаю, да планируется. Примерные запросы:
Какая температура в Москве?
Какая температура (средняя) в указанном районе?
Какая температура в аэропорте?
Какая температура на метеостанции?
Выбрать и отобразить районы (точки) где температура больше +30 или меньше -30 на текущий день
Выбрать и отобразить районы (точки), где прогнозируется, что температура 19.04.2017 будет -25 градусов?
Выбрать и отобразить районы (точки), где идет снег?
2. - такие запросы я думаю не будут.
3. На метеостанциях наблюдаются одинаковые параметры. В аэропорте наблюдаются другие параметры. Пример: На аэродроме: Давление, Скорость ветра
На метеостанциях: Температура, скорость ветра

Спасибо большое за внимание к моему вопросы)

[Дмитрий Крапивин]

sim3x, Не совсем понял вашу информацию. Метеоданные на метеостанции и метеостанции в аэропорте немного отличаются по составу. Это точно.

[sim3x]

kiru,
На метеостанции есть стандарты
Станции могут сильно отличаться друг от друга даже в вариантах для аеропортов
Создавать две таблицы под них не требуется

[Дмитрий Крапивин]

sim3x, спасибо. Видно вы в этом вопросе компетентны) а можете подсказать, как к примеру хранить: дождь, и температуру у них разные показатели, "дождь, интенсивность 100 мм за 1 час", "температура 25 градусов". Как такие явления и их показатели хрпнить? В одной таблице и в двух полях, или все таки для каждого явления несколько полей?

[sim3x]

kiru, нет, я не компетентен в метеостанциях и погодных измерениях, я просто умею гуглить

Что хранить должно быть написано в ТЗ
Как хранить - нужно привести к 3NF

Answer 1

[Станислав Макаров]

1 вариант - по таблице на параметр:

Location:
	- Id: INT NOT NULL
	- Type: ENUM NOT NULL
	- Position: GEOGRAPHY NOT NULL (или оставьте пару даблов для координат)

Temperature:
	- LocationId -> Location.Id (вн. ключ)
	- Time: DATETIME NOT NULL
	- Value: DOUBLE PRECISION NOT NULL;

Pressure:
	...

WindSpeed:
	...

2 вариант - всё вместе, но с NULL-ами, каждая запись в таблице Measurement - один факт (т.е. одна процедура) измерения:

Location:
	- Id: INT NOT NULL
	- Type: ENUM NOT NULL
	- Position: GEOGRAPHY NOT NULL (или оставьте пару даблов для координат)

Measurement:
	- LocationId: -> Location.Id
	- Time: DATETIME NOT NULL
	- Temperature: DOUBLE PRECISION;
	- Pressure: DOUBLE PRECISION;
	- WindSpeed: DOUBLE PRECISION;

Для прогноза, соотв-но, такие же таблицы (TemperatureForecast, например).

Если данных будет много, посмотрите в сторону Time-Series баз данных (пример: https://docs.timescale.com/v0.9/introduction/data-model ), если будет много пространственных запросов - возьмите PostgreSQL + PostGIS, особенно если у вас будут геообъекты других типов, например полигональные. В PostGIS есть специальные типы полей для геометрий таких объектов, плюс реализованы специальные индексы. Если ещё не знаете что выбрать, но планируется работа с такими объектами - можете пробовать PostGIS.

Answer 2

[Андрей Скоржинский]

Как-то так:

Comments

[Дмитрий Крапивин]

Андрей Скоржинский Андрей, здравствуйте. Скрин отобразился. Спасибо большое. Вопрос: А что за таблица Params?

[Андрей Скоржинский]

[Дмитрий Крапивин]

Андрей Скоржинский и еще один вопрос Андрей.
Оказывается бывает еще такое:
Погода в точке - данные в определенной точке, к примеру Температура на аэродроме, Температура в Москве.
Погода в районе - данные по зонам, к примеру, зона повышенного давления или зона грозы, зона облачности. Где и как хранить такую информацию? Можете подсказать?

Запросы как я понимаю будут следующими:
Какая температура в Москве?
Какая температура на метеостанции?
Выбрать и отобразить районы (точки) где температура больше +30 или меньше -30 на текущий день
Выбрать и отобразить районы (точки), где прогнозируется, что температура 19.04.2017 будет -25 градусов?
Выбрать и отобразить районы, где наблюдается гроза?

[Дмитрий Крапивин]

Андрей Скоржинский спасибо большое за скрин схемы. Можете ответить на вышестоящий вопрос?

[Андрей Скоржинский]

Необходимо описать и определить термины предметной области и отношения между ними:
"Температура на аэродроме, Температура в Москве" - географическая точка, которая входит в "зону" (например "зона повышенного давления")
Дальше строим логическую модель предметной области. На основе логической модели выбираем СУБД и для нее строим физическую модель.
Как видите ответ получился неконкретным и общим. Это произошло потому что я не знаю всех нюансов задачи и не могу дать однозначный ответ.
Поэтому советую нанять архитектора БД.
Как-то так.

[Андрей Скоржинский]

Насчет сущности "Params" - тут описываются параметры погоды (не значения!): Давление, Скорость ветра и т.п.

[Дмитрий Крапивин]

Андрей Скоржинский, спасибо. А значение параметра тогда где описывается, в какой таблице и поле? Чтото тогда не понял..

[Андрей Скоржинский]

kiru, "значение параметра" - это одна из характеристик погоды в конкретный момент времени в конкретной точке. Все это дело хранится в таблице Weather. Например:
Описываем параметр "давление" в таблице "Params" и присваиваем ему idParam = 1
Теперь метеостанция с idStation = 888 померила в 10:30 давление и получила значение 1000 kPa, записываем это событие в таблицу Weather присвоив полям следующие значения:
idStation = 888
idParam = 1
idParamType = 0 -- значение для типа параметра "факт"
Time = 10:30
Value = 1000

[Дмитрий Крапивин]

Андрей Скоржинский, Андрей доброго дня. Можете подсказать, есть такой параметр как Высота на которой наблюдается величина погодного явления. По умолчанию - данные приземные (высота не задается). К примеру, Скорость ветра - 10 градусов (приземные данные), скорость ветра на высоте 10 метров 10 градусов, скорость ветра на высоте 100 метров 15 градусов, скорость ветра на высоте 150 метров -15 градусов...

Подскажите пожалуйста, как лучше, как порекомендуете реализовать этот параметр в таблице, в одной или разделить?
Пример:

Weather
-height
-idParametr

или

Weather
-idParams

Params
idParams
nameParams
height

temperature, veter, davlenie, measuring_time, ...

[Андрей Скоржинский]

Получается, что у нас один параметр зависит от другого (скорость ветра от высоты) или обобщая: сущность (параметр) зависит сама от себя. Обычно такие отношения решаются петлей:

Получится:
Params
idParam = 1
idParamParent = null
Name = 'Высота'
...
idParam = 444
idParamParent = 1
Name = 'Скорость ветра'

Weather
idParam = 1
Value = 100 метров
Time = 10:00
...
idParam = 444
Value = 15 градусов
Time = 10:00

[Дмитрий Крапивин]

Андрей Скоржинский, здравствуйте.

Не совсем понял...
1) т.е. вы рекомендуете не создавать отдельный атрибут "Высота" в таблице "Weather"? а сделать его значением таблицы Params? Правильно понял Вас?

2) idParamParent это новый атрибут в таблице Params?

[Андрей Скоржинский]

1) Почти правильно, только не отдельный атрибут "Высота", а сделать параметр "Высота" "предком" параметра "скорость ветра"
2) да, это новый параметр таблицы Params, если оно задано, то у этого параметра есть "предок". Например у "скорости ветра" есть предок "высота". Это позволит строить цепочки параметров - "скорость ветра" на "высоте" в "1 день новой луны" :)