azure - 具有不同行数的分隔文件 Azure 数据工厂

Question

我有一个由哈希分隔的分隔文件，看起来有点像这样，

价值#价值#价值#价值#价值#价值##价值

价值#价值#价值#价值##价值#####价值#####价值

价值#价值#价值#价值###价值#价值####价值##价值

如您所见，当用哈希分隔时，第 2 行和第 3 行的列数比第一行的多。我希望能够在经过一些转换后使用 ADF 数据流将其摄取到数据库中。但是，每当我尝试进行任何类型的映射时，我总是只看到 7 列（第一行的列数）。

有没有办法获得所有的价值？与项目数量最多的行中的列一样多？我不介意空值。

注意：我没有为此的标题行。

标签： azureazure-data-factory-2

Answer 1

Azure 数据工厂直接无法导入具有最大列数的架构行。因此，确保文件中的列数相同很重要。

您可以使用 Azure 函数来验证您的文件并对其进行更新以在所有行中获得相同数量的列。

您可以尝试使用具有最大列数的行的本地文件并从文件中导入架构，否则您必须使用 Azure Functions，您必须在其中转换文件然后触发管道。