Почему появляется ошибка relation column_name does not exist?

Question

[Сергей Александров]

При запуске инкрементальной модели dbt
dbt run -s first_100_cards --full-refresh
Появляется ошибка

11:06:11 Running with dbt=1.6.0
11:06:11 Registered adapter: postgres=1.6.0
11:06:11 Found 7 models, 4 tests, 4 sources, 0 exposures, 0 metrics, 463 macros, 0 groups, 0 semantic models
11:06:11
11:06:11 Concurrency: 3 threads (target='dev')
11:06:11
11:06:11 1 of 1 START sql incremental model dbt.first_100_cards ......................... [RUN]
11:06:12 1 of 1 ERROR creating sql incremental model dbt.first_100_cards ................ [ERROR in 0.35s]
11:06:12
11:06:12 Finished running 1 incremental model in 0 hours 0 minutes and 0.96 seconds (0.96s).
11:06:12
11:06:12 Completed with 1 error and 0 warnings:
11:06:12
11:06:12 Database Error in model first_100_cards (models\mydb_models\first_100_cards.sql)
11:06:12 relation "datetr" does not exist
11:06:12 LINE 25: "datetr",
11:06:12 ^
11:06:12 compiled Code at target\run\dbt_demo\models\mydb_models\first_100_cards.sql
11:06:12
11:06:12 Done. PASS=0 WARN=0 ERROR=1 SKIP=0 TOTAL=1

Модель выглядит так:

with source_cards as (
  SELECT * from
    {{ dbt_utils.star(from=source('mydb_tables','cards'), except=['vid'])}}
    limit 100
                    )

select sc.*,
  case when x.case_ump = 4 then 'r'
       when x.case_ump = 3 then 'a'
       when x.case_ump = 2 then 'd'
       when x.case_ump = 1 then 's' end as vid

from source_cards as sc
left join
    {{source("mydb_tables","visits")}} as x
on sc.id_service = x.id_service
WHERE TRUE

{% if is_incremental() %}
AND sc.id_service >= (select max(id_service) from {{ this }})
{% endif %}

Лог в базе данных выглядит так

2023-08-03 14:06:09.466 MSK [110291] postgres@mydb WARNING: there is already a transaction in progress
2023-08-03 14:06:09.641 MSK [110291] postgres@mydb ERROR: relation "datetr" does not exist at character 454
2023-08-03 14:06:09.641 MSK [110291] postgres@mydb STATEMENT: /* {"app": "dbt", "dbt_version": "1.6.0", "profile_name": "dbt_mydb_postgres", "target_name": "dev", "node_id": "model.dbt_demo.first_100_cards"} */

create unlogged table "mydb"."dbt"."first_100_cards"

as

(
-- Конфигурация модели:
-- Инкрементальное наполнение, уникальный ключ для обновления записей (unique_key)
-- Ключ сегментации (dist), ключ сортировки (sort)

with source_cards as (
SELECT * from
"datetr",
"numtr",
"reciever",

"id_service"
limit 100
)

select sc.*,
case when x.case_ump = 4 then 'r'
when x.case_ump = 3 then 'a'
when x.case_ump = 2 then 'd'
when x.case_ump = 1 then 's' end as vid

from source_cards as sc
left join
"mydb"."public"."cards_dop" as x
on sc.id_service = x.id_service
WHERE TRUE

);

2023-08-03 14:06:09.748 MSK [110292] postgres@mydb WARNING: there is already a transaction in progress
2023-08-03 14:07:18.162 MSK [107081] postgres@mydb LOG: could not receive data from client: Connection timed out

Конечно поле "datetr" в таблице есть, но если его убрать, то такая же ошибка будет
указывать на отсутствие следующего поля таблицы.

Что не так с моделью, как исправить ошибку?

SELECT VERSION();

PostgreSQL 14.8 (Ubuntu 14.8-0ubuntu0.22.04.1) on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 11.3.0-1ubuntu1~22.04.1) 11.3.0, 64-bit

Comments

[Akina]

relation "datetr" does not exist

Relation - это не поле, а источник данных (таблица/представление/подзапрос).

Тем более что Вы же сами пишете:

with source_cards as (
SELECT * from
"datetr",
"numtr",
"reciever",

"id_service"
limit 100
)

То есть используете "datetr", "numtr", "reciever", "id_service" как имена ТАБЛИЦ.

[Сергей Александров]

Akina,

"datetr" и другие поля таблицы берутся из cte

SELECT * from
    {{ dbt_utils.star(from=source('mydb_tables','cards'), except=['vid'])}}
    limit 100
.
.
.

конкретно из источника - таблицы cards, кроме "vid"

Вы смотрели лог postgresql.
... и я с вами согласен, выглядит итоговый запрос к базе как ошибочный.

Есть надежда, что эта ошибка уже у кого-то проявилась, и есть вариант или исправления или другого решения. Спасибо что заметили.

[Akina]

Сергей Александров,

"datetr" и другие поля таблицы берутся из cte

Повторяю. В твоём запросе datetr - это не поле cte, а таблица-источник, на основании которой получается набор записей в этом cte.

Ты пишешь

with source_cards as (
  SELECT * from
    {{ dbt_utils.star(from=source('mydb_tables','cards'), except=['vid'])}}
    limit 100
                    )

Твой код согласно логу это превращает в

with source_cards as (
SELECT * from
"datetr",
"numtr",
"reciever",

"id_service"
limit 100
)

А ты должен был после обработки получить

with source_cards as (
SELECT "datetr", "numtr", "reciever", "id_service"
FROM cards
limit 100
)

Иными словами - косяк в твоём коде.

[Сергей Александров]

Justa Gain,
Поправлю, как скажете, только было бы понятно.

Правила прочитал. (регламента - 3.1, 3.6, 3.8. )

Использовал только два: code - для выделения выполняемого кода или команд
и цитату blockquote - для выделения ответа системы на команду или лога (тоже ответ системы).

Я неопытный пользователь habr, если можно уточните, какие теги лишние?

[Сергей Александров]

Akina,

Да, но в реальности в таблице будет до 500 столбцов.
Поэтому и пытаюсь использовать star из dbt_utils для изменения одного столбца
github.com/dbt-labs/dbt-utils#star-source
напр.

select
{{ dbt_utils.star(from=ref('my_model'), except=["exclude_field_1", "exclude_field_2"]) }}
from {{ ref('my_model') }}

Еще "помучаю" модель, может star не работает с
source('mydb_tables','cards').
На другой таблице dbt_utils.star(from=ref("first_10_visits")
отрабатывала верно.

Если не получится, то буду использовать список, как вы предлагаете. Спасибо.

[Akina]

Сергей Александров, простите, а Вы хоть понимаете разницу между тем, что такое таблица и тем, что такое поле в таблице? может, есть смысл ну хоть какой-нибудь букварик про SQL посмотреть сначала - Вы ж, извините, несёте... ну полную ахинею.

Поэтому и пытаюсь использовать star из dbt_utils для изменения одного столбца

Вот именно - Вы получаете список полей одной таблицы cards. А пихаете его в секцию FROM, словно это список таблиц какой-то БД...

[Сергей Александров]

Akina,
Ну не совсем конечно ахинею, но близко к тому ...
Я действительно "накосячил", исправленный код тут:

with source_cards as (
  SELECT
    {{ dbt_utils.star(from=source('mydb_tables','cards'), except=['vid'])}}
    from {{source('mydb_tables','cards')}}
    limit 100
                     )
select sc.*,
  case when x.case_ump = 4 then 'r'
       when x.case_ump = 3 then 'a'
       when x.case_ump = 2 then 'd'
       when x.case_ump = 1 then 's' end as vid

from source_cards as sc
left join
    {{source("mydb_tables","visits")}} as x
on sc.id_service = x.id_service
WHERE TRUE

{% if is_incremental() %}
AND sc.id_service >= (select max(id_service) from {{ this }})
{% endif %}

Прошу прощения, star из dbt_utils для выбора всех полей таблицы.

Я только пробую изучить работу dbt, но уже сейчас можно сказать, что инструмент
очень хороший, а если еще не в мои руки попадет, то вообще цены нет ...

В этом тестовом примере я выполняю обновление столбца "vid" в "широкой" таблице. (обновление выполнено)

Пример рабочий, поэтому если у кого-то возникнет такой же вопрос,
то это проблема внимательности.

Лог выполнения:

8:43:12 1 of 1 START sql incremental model dbt.first_100_cards ......................... [RUN]
08:43:12 1 of 1 OK created sql incremental model dbt.first_100_cards .................... [SELECT 100 in 0.47s]
08:43:12
08:43:12 Finished running 1 incremental model in 0 hours 0 minutes and 1.09 seconds (1.09s).
08:43:12
08:43:12 Completed successfully
08:43:12
08:43:12 Done. PASS=1 WARN=0 ERROR=0 SKIP=0 TOTAL=1

Большое спасибо всем участникам за помощь. Всем удачи!