azure-data-factory - Adf 中平面文件接收器上的 SCD2

Question

我有一个场景，在我的源和目标中都是平面文件。我想使用数据流在目标平面文件上实现 SCD-2。我试图使用 alter row 然后 sink 但后来意识到平面文件的 sink 没有提供更新行选项的选项。是否有任何解决方法。

谢谢。

标签： azure-data-factory

Answer 1

不适用于文本平面文件。但是，如果 Parquet / Delta 输出在您的用例中是可接受的，您可以通过使用 Delta 作为接收器中的数据集格式来做到这一点。

https://www.youtube.com/watch?v=evqQRwsF_Ps

https://docs.microsoft.com/en-us/azure/data-factory/tutorial-data-flow-delta-lake