apache-kafka - 重新平衡分区时 Apache Kafka 代理的 OOM

Question

我们有一个 Kafka 区域集群，包含 14 个代理（在 AWS 实例上）、53 个主题，每个主题 128 个分区。上次我们添加 3 个新代理时，在分区重新平衡期间，多个代理成为 OOM，不得不被强制终止。

卡夫卡版本是1.1.0（2.11-1.1.0）。复制因子 3，日志保留 1 周。

内存堆大小设置为 8G。Box 有 244G 内存可用（d2.8xlarge实例类型）。

Java内存配置：

-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent 
-Xms8G -Xmx8G -XX:G1HeapRegionSize=16M -XX:MetaspaceSize=96m
-XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80

问题是：

• 什么可能导致OOM？
• 我们应该为 Kafka 代理分配多少内存，或者我们应该做些什么来避免 OOM？

谢谢！

标签： apache-kafkaout-of-memory