首页 > 解决方案 > Azure 数据工厂数据流 - 删除空列

问题描述

在 azure 数据工厂中使用数据流移动数据时,我注意到数据(在接收器)缺少包含 NULL 值的列。当使用复制活动复制相同的数据时,这些列以它们的 NULL 值存在于接收器中。

复制活动后记录: 复制活动后记录

在一个数据流之后记录: 数据流后记录

源是镶木地板,汇是天蓝色 cosmos db。我的目标是避免定义任何模式,因为我只想“按原样”复制所有数据。我在源和接收器上使用了“允许架构漂移”选项。

我只会使用复制活动,但它似乎无法像数据流那样定义最大速度(RU 消耗),因此复制活动最终会很快消耗所有 cosmos db 的 RU(如此处描述)


编辑:

接收器数据预览显示所有列 接收器数据选项卡

sink 检查选项卡显示所有列 接收器检查选项卡

标签: azure-data-factoryazure-data-factory-2

解决方案


数据流总是跳过写入带有 NULL 的 JSON 标记。除了复制活动之外,目前没有其他解决方法。


推荐阅读