azure - 插入或跳过 Azure 数据迁移工具的选项？

Question

我目前正在使用 Azure 数据迁移工具从表存储迁移到 Cosmos，并且我正在寻找一种方法来识别记录是否存在以避免重复的处理支出——我的期望是跳过现有记录将节省时间。我更喜欢使用该工具而不是 AzCopy，因为据我所知，它是一个更加简化的过程。但是，在查看了此处的文档后，我还没有找到一种使用它来识别现有记录的方法。我正在寻找像AzCopy 中可用的“InsertOrSkip”标志之类的东西。有谁知道数据迁移工具中是否有可能只是在指南中没有明确指出的等效工具？谢谢大家。

标签： azureazure-cosmosdbazure-table-storagedata-migrationazcopy

Answer 1

spb. 根据我对 Azure 数据迁移工具github 源代码的研究，里面没有这种Insert or skip机制。

但是，也许我可以为您提供两种解决方法。

第一个，你可以使用Azure 数据工厂服务来实现你的数据传输。以表存储为源，以cosmos db表 api 为接收器。你可以在azureTableSourceQuery属性中编写查询 sql 来过滤重复数据。

第二个，您可以使用Azure Function CosmosDB Trigger。任何数据增量都会触发该方法检查数据是否已存在于数据库中。如果是，则删除。

希望它可以帮助你。