copy - Azure 数据工厂复制活动未对 avro 应用压缩

Question

我正在为 avro 数据集应用“avroCompressionCodec”：“snappy”。但是，Azure 数据工厂 V2 管道中的复制活动会忽略压缩。在设计时它会显示一个警告 - 当使用 Avro 数据集作为复制目标时，压缩类型将被忽略。

我们知道在这种情况下如何应用压缩吗？

标签： copycompressionazure-pipelinesavroazure-data-factory

Answer 1

正如官方文件中所述。AvroFormat 数据当前不支持压缩设置。

AvroFormat、OrcFormat 或 ParquetFormat 中的数据不支持压缩设置。读取这些格式的文件时，数据工厂会检测并使用元数据中的压缩编解码器。以这些格式写入文件时，数据工厂会选择该格式的默认压缩编解码器。例如，用于 OrcFormat 的 ZLIB 和用于 ParquetFormat 的 SNAPPY。

您可以在此处将您的想法发布到 Microsoft ，要求该功能支持 AvroFormat 数据的压缩设置。