azure - 如何在 azure 数据工厂中删除源数据集 (JSON) 中的重复项并将数据加载到 azure SQL DB

Question

我在 SQL DB 中有一个带有主键字段的表。现在我在带有源数据集（JSON）的天蓝色数据工厂中使用复制活动。

我们正在将此数据写入接收器数据集（SQL DB），但管道失败并出现以下错误

"message": "'Type=System.Data.SqlClient.SqlException,Message=Violation of 
 PRIMARY KEY constraint 'PK__field__399771B9251AD6D4'. Cannot 
 insert duplicate key in object 'dbo.crop_original_new'. The 
 duplicate key value is (9161, en).\r\nThe statement has been 
 terminated.,Source=.Net SqlClient Data Provider,SqlErrorNumber=2627,Class=14,ErrorCode=-2146232060,State=1,Errors= 
[{Class=14,Number=2627,State=1,Message=Violation of PRIMARY KEY 
constraint 'PK__field__399771B9251AD6D4'. Cannot insert 
duplicate key in object 'Table'. The duplicate key value is 
(9161, en).,},{Class=0,Number=3621,State=0,Message=The statement has 
been terminated.,},],'",

标签： azureazure-sql-databaseazure-data-factoryazure-data-factory-2

Answer 1

您可以使用复制活动中提供的容错设置来跳过不兼容的行。

设定图像