首页 > 解决方案 > 气流 1.10.12 AWSAthenaOperator 'msck repair table' 不起作用

问题描述

我正在使用 AWSAthenaOperator 创建表,另一个用于修复表。创建表工作正常(运行操作员后出现表),但修复表不起作用 - 运行命令后表为空。只有在我从 Athena 的 UI 运行“msck repair table”之后,表才填满了数据。我在结果存储桶中检查了 QueryExecutionId,它填充了所有应该出现的分区。

这是操作员代码:

repair_table_in_athena = AWSAthenaOperator(
    dag=dag,
    aws_conn_id='aws_default',
    task_id='repair_table',
    database="player_performance",
    query="msck repair table {}".format(TABLE_NAME),
    output_location="s3://aws-athena-query-results-017894670386-us-east-1"
)

我还尝试通过 BashOperator ("aws athena start-query-execution --query-string "MSCK REPAIR TABLE...") 使用 cli 命令 - 结果相同。

有人可以建议吗?

标签: amazon-web-servicesairflowamazon-athena

解决方案


推荐阅读