csv - 将具有不同架构（列）的多个文件 (.csv) 合并/联合为单个文件 .csv

问题描述

我想使用 Azure 数据工厂 / Synapse Analytics 将具有不同架构的多个文件 (.csv) 合并/联合到一个文件 (.csv) 中。

例子：

文件 1，架构：

C1	C2	C3	C4	C5
01	02	03	04	05
01	02	03	04	05

文件 2，架构

C1	C5	C3
01	05	03
01	05	03

文件 3，架构：

C1	C4	C2
01	04	02
01	04	02

我的expexted输出应该是：

C1	C2	C3	C4	C5
01	02	03	04	05
01	02	03	04	05
01		03		05
01		03		05
01	02		04
01	02		04

所有文件都在同一个文件夹中

但是我遇到了以下问题，因为某些列未在所有文件中列出

{ "errorCode": "2200", "message": "ErrorCode=UserErrorInvalidColumnMappingColumnNotFound,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=列映射中指定的列 'C2' 在源数据中找不到。,Source =Microsoft.DataTransfer.ClientLibrary,'", "failureType": "UserError", "target": "Copy_24a", "details": [] }

我尝试使用架构漂移，但没有相同的结果。

谁能让我知道如何实现这一目标？

更新

现在，我正在尝试从数据流进行联合转换。我的来源是一个文件夹，我有几个/多个文件。如下：

但是，问题依旧。实际上，如果我检查预览，显示的信息不正确：

奇怪的是，当直接从原点查看预览看起来不错时，因为我想要结果（分隔文本）：

希望任何人都可以提供帮助！

提前致谢！

标签： csvazure-data-factoryazure-synapseazure-data-flow

csv - 将具有不同架构（列）的多个文件 (.csv) 合并/联合为单个文件 .csv - Azure 数据工厂

问题描述

解决方案

推荐阅读