hdfs - 在 Nifi 中生成 128MB 的块

Question

我想要做的是存入 128MB 大小的 HDFS 块我一直在尝试几个处理器，但无法获得好的处理器，或者我没有确定正确的属性：

这就是流程的样子：

• 现在我正在使用 PutParquet 但这个处理器没有这样做的属性

• 前一个处理器是 MergeContent，这是配置

• 在 SplitAvro 我有下一个配置

希望有人可以帮助我真的很难做到这一点。

标签： hdfsapache-nificloudera

Answer 1

您不需要 SplitAvro 或 ConvertAvroToJSON，如果您使用 MergeRecord，您可以提供 AvroReader 和 JsonRecordSetWriter，它会为您进行转换。如果您知道适合 HDFS 块的大致记录数，则可以将其设置为最大条目数和最大组大小。请记住，这些都是软限制，因此您可能希望将其设置为更安全的值，例如 100MB。

当您尝试使用描述中的流程时，您观察到了什么？文件是否仍然太大，或者似乎没有遵守最小/最大限制等？