azure-data-factory - 如何使用 ADF 检查同一源中的重复项

Question

我有一个包含许多重复行的单一源 CSV。我想突出显示或删除这些重复项。有谁知道怎么做？

标签： azure-data-factoryazure-data-factory-2

Answer 1

数据流可以做到这一点！

伟大的克罗默在这里很好地解释了这一点：https ://kromerbigdata.com/2019/04/21/use-adf-mapping-data-flows-for-fuzzy-matching-and-dedupe/

希望这有帮助！