amazon-redshift - 为什么我得到一个“列关系的在 dbt 中运行模型但在 SQL 客户端中运行时不存在”错误?
问题描述
问题
我们有一个增量模型,已经在我们的夜间生产工作中运行了几个月(下面的 SQL)。上周,在将我们的生产环境升级到v0.21.0
(从v0.19.0
)之后,模型开始抛出这个错误:
Database Error in model my_model (path/to/my_model.sql)
column "alias6" of relation "my_model" does not exist
compiled SQL at target/run/path/to/my_model.sql
{{-
config(
materialized = 'incremental',
dist = 'alias3',
sort = 'dates_pk',
unique_key = '__surrogate_key',
)
-}}
with calculate_metrics as (
select
field1 as dates_pk,
field2 as alias2,
{{ my_macro('field3') }} as alias3,
field4 as alias4,
field5,
field6 as alias6,
field7 as alias7,
field8 as alias8,
field9 as alias9,
(field8::float / field6)::decimal(18, 6) as alias10,
(field9::float / field7)::decimal(18, 6) as alias11,
{{ dbt_utils.surrogate_key([
'field1', 'field2', 'alias4', 'field5']) }} as __surrogate_key
from {{ ref('upstream_model') }}
{% if is_incremental() -%}
where dates_pk >= coalesce((select max(dates_pk) from {{ this }}), '2000-01-01')
{%- endif -%}
)
select * from calculate_metrics
到目前为止我尝试过的
prod env, v0.21.0
. 由于该错误看起来类似于增量模型的架构更改时发生的情况(它没有),所以我做了dbt run -s my_model+ --full-refresh
. 得到同样的错误。dev env, v0.21.0
. 删除了我的dev
模式,运行dbt clean && dbt deps
,然后交替执行dbt run
和dbt build
。在同一型号上失败。dev env, v0.21.0
. 试过了dbt build -s my_model --full-refresh
;没运气。target/
我从 SQL 客户端的 Redshift 目录中运行编译后的 SQL。没有得到错误。dev env, v0.19.0
. 降级我dev
的环境并从头开始运行模型血统。在同一型号上失败。这把我扔了;我真的怀疑升级了。dev env, v0.19.0
. 将模型实现更改为table
并在dev
. 得到同样的错误。dev env, v0.19.0
. 削减代码的方式,看看我是否可以做任何事情让它运行。至少,这引发了一个稍微不同的错误。
{{-
config(
materialized = 'table',
)
-}}
with calculate_metrics as (
select
field1,
field2,
{{ my_macro('field3') }} as alias3,
field4,
field5,
field6,
field7,
field8,
field9
from {{ ref('upstream_model') }}
)
select * from calculate_metrics
Database Error in model my_model (path/to/my_model.sql)
column "dates_pk" of relation "my_model" does not exist
compiled SQL at target/run/path/to/my_model.sql
所以dbt
似乎正在运行一些数据库操作,该操作正在寻找模型中以前存在但现在不存在的别名。不知道为什么会这样,具体table
化。
解决方案
感谢 dbt 支持团队的一些调查,我们发现了这个问题的原因。
模型的 YML 文档文件包含模型中未找到的列名(请参阅下面的示例 YML),并且最近为模型启用了dbt 的persist_docs
功能。
models:
- name: my_model
columns:
...
# This should have been named alias6, but was not updated
# when the model changed at some point in the past; this
# didn't cause an error until persist_docs attempted to
# `comment` on the (non-existent) field in Redshift
- name: field6
description: Foo bar baz.
更具体的错误消息将有助于更快地解决这个问题,所以我在 dbt-core Github 上记录了这个问题。
推荐阅读
- unity3d - 如何使角色移动取决于我在动画师统一运行时编写的脚本?
- skiasharp - 大图像调整大小显示空白
- c - SDL 窗口是透明的
- python - 在 ttk Treeview 中设置多个选中项
- javascript - 如何从 WordPress 的特定帖子中隐藏/禁用/删除自定义元框?
- android - Room 数据库 (Kotlin) 中的默认值
- python - codeforces时间限制(230B T-primes)python3.6
- c# - StackExchange.Redis 安装使项目需要更新版本的 system.net.http
- json - 解析在json angular中存储为字符串的json
- tensorflow - 有条件地更新张量流中的变量