amazon-web-services - 使用 hive 删除 dynamoDB 记录

Question

我有一个定期运行并将一些数据转储到 s3 的管道。现在我想用 s3 中转储的新数据完全替换 dynamoDb 中的现有数据。

如果 s3 数据中存在 dynamoDB 表键，则应更新 dynamo 记录。

如果 key 在 s3 数据中不存在但在 dynmoDB 中存在，则需要删除 dynamo 中的记录，并且需要将任何新数据作为新记录插入到 dynamo 表中。

是否可以通过配置单元查询（连接到 DynamoDB 的外部配置单元表）来完成此操作。我知道我们可以使用配置单元查询将数据插入 dynamoDB。我们是否也可以使用 hive 查询从 dynamoDB 中删除项目。

标签： amazon-web-serviceshiveamazon-dynamodb

Answer 1

跑：

Insert Overwrite table <Dynamodbtablename> select columns from <s3_table>;

这将根据键列值覆盖现有记录。