azure-data-factory-2 - Azure 数据工厂：架构更改

Question

我有一个具有以下格式的 blob。第一行提供标题详细信息，接下来的 2 行作为数据记录，最后一行作为包含数据记录计数的尾部记录。在记录文件时，我想将我的架构定义为单个字段，一旦我删除了我的拖车记录，我想用“|”将它转换为正确的架构格式 作为分隔符。你能让我知道我怎样才能做到这一点吗？

DeptID|DeptNAme
1|A
2|B
2

在此先感谢库马尔

标签： azure-data-factory-2

Answer 1

更新：

1. 在SurrogateKey1Step4前面提到的活动之后，我们可以使用Select活动来选择列DeptID|DeptNAme。

2. 然后我们可以使用DerivedColumn1活动、表达式split({DeptID|DeptNAme},'|')[1]并split({DeptID|DeptNAme},'|')[2]手动生成新列。

3. 数据预览如下：

---

@Kumar G 我们可以使用ADF 中的数据流来实现这一点。
例如，我创建了一个简单的测试。

1. 我在 Azure Data Lake Gen2 中创建了一个 bolb，如下所示：

2. 我创建了这个 blob 的数据源，选择Pipe (|)为 Column delimiter 和 First row as header. 架构如下：

3. 我在ADF中创建了一个映射数据流，源数据预览如下：

4. 在SurrogateKey1中，键入Row_NoKey Column，1作为 Start Value。 数据预览如下：

5. 在Conditional split1中，用于Row_No < 3排除最后一行。

6. 中Select1，未选择Row_No列， 数据预览如下：

就这样！