azure - Azure Synapse Analytics - 数据流 - 输出到多个文件

Question

在 Azure Synapse Analytics 中，我有一个数据流，它从 blob 存储中读取文件并将它们作为 Parquet 格式输出到另一个 blob 存储中。如果我将所有内容输出到 1 个镶木地板文件中，它会按预期工作。但是，我想要的是根据数据列将数据输出到多个文件中。例如，我处理一个大文件，那里有多行有不同的 StartYear、StartMonth、StartDay、StartHour 列以及我想将文件放入存储文件夹StartYear\StartMonth\StartDay\的文件StartHour.parquet

所以，基本上我想知道是否可以根据列将数据（或拆分数据）分组为多个集合，然后将这些组或拆分保存为单独的文件。

有没有可能实现？

谢谢！

标签： azurefileoutputdataflowazure-synapse