azure - Azure 数据工厂从 csv 文件的列名中删除空格

Question

我对天蓝色数据工厂有点陌生，如果我遗漏了任何明显的东西，我深表歉意。我已经进行了几次搜索，但找不到任何合适的东西。

所以情况是我们有一个现有的管道，它将获取 csv 文件的路径并将其作为分隔数据集传入。作为接收器，它使用镶木地板数据集。这是一个通用过程，我们可以将任何分隔文件传递到其中，并将其输出为镶木地板。

这一直运作良好，但现在我们已经开始接收标题中包含空格和特殊字符的文件，这导致输出拼花失败。不幸的是，我们无法控制我们收到的文件的格式，所以我无法从源头处理这个问题。

我想做的是在摄取文件时用下划线替换标题中的任何空格和其他特殊字符。如果我在前提下执行此操作，我可以快速创建一个 powershell 脚本来执行此操作。我曾考虑在 AFD 中创建一个自定义任务来调用 powershell 脚本在 blob 存储中执行此操作，但这似乎比它应该的要复杂。我还能做些什么来让这个过程正常工作，同时保持它的通用性？

标签： azurepowershellazure-data-factory

Answer 1

正如@Joel Cochran 提到的，您可以在选择转换中使用以下表达式来替换标题中的空格和特殊字符。

regexReplace($$,'[^a-zA-Z]','_')

资源：

在Select transformation中，删除自动映射并添加新的规则库映射以使用此表达式。

预览：