时间戳

首页 > 解决方案 > Athena Engine V1 到 V2 在结构列上变慢

amazon-athena - Athena Engine V1 到 V2 在结构列上变慢

问题描述

我有一个在 Athena 上运行的 SQL 查询，它已按计划可靠地运行了 6 个月，执行时间通常为 1-2 分钟。在 Athena 引擎从 V1 升级到 V2 之后，性能下降到超过 20 分钟，并且在许多情况下，在这个比例因子错误下导致查询耗尽资源。我认为这与结构列的使用有关。当我简单地为结构列返回 * 时，它会快速返回。

这是一个简化的例子


select 'CURRENT ACTIVE'     as record_type,
                value.file_timestamp as servicer_file_date,
                value.cardholder_base_segment.base_account_number, -- tokenized account id
                value.sls_syd_segment.card_actd_dt,                -- card activation date
                value.cardholder_base_segment.orgn_acct_dt,        -- Account Original Open Date
                value.current_activity_segment.current_balance,    -- current balance
          where value.file_timestamp = (select max(value.file_timestamp) as max_file_date
          from datalake_database.my_credit_card_data);

有没有其他人遇到过同样的问题？如果是这样，您是否能够找到解决方法？

标签： amazon-athenapresto

解决方案

推荐阅读