apache-kafka - Kafka将打开文件的数量减少为超过1000000

Question

我有一个 kafka 每分钟从某些事件中接收 1gb 的数据，因此打开的文件数量超过 1000000。我不确定需要更改哪个设置来减少这个数量。任何人都可以指导什么可以快速解决？我应该将 log.segment.bytes=1073741824 增加到 10 GB 以减少创建文件的数量，还是将 log.retention.check.interval.ms=300000 增加到 15 分钟，从而减少检查删除

标签： apache-kafka

Answer 1

增加段的大小将减少代理维护的文件数量，权衡是只有关闭的段才会被清理或压缩。

另一种选择是重新考虑您正在使用的数据类型。例如，如果发送文件或其他大型二进制 blob，请考虑使用文件系统 URI，而不是通过主题推送整个数据