时间戳

首页 > 解决方案 > kafka 连接器如何处理内存泄漏？

apache-kafka - kafka 连接器如何处理内存泄漏？

问题描述

我启动了 kafka 连接图像。当我放入这个容器时，我配置了近 25 个正在运行的源和接收器连接器，我只看到 1 个 java 进程

root@connect:/# ps -ef | grep java
root         1     0  3 Jun20 ?        01:32:06 java -Xms256M -Xmx2G -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -Djava.awt.headless=true -Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dkafka.logs.dir=/var/log/kafka -Dlog4j.configuration=file:/etc/kafka/connect-log4j.properties -cp /etc/kafka-connect/jars/*:/usr/share/java/kafka/*:/usr/share/java/confluent-common/*:/usr/share/java/kafka-serde-tools/*:/usr/share/java/monitoring-interceptors/*:/usr/bin/../share/java/kafka/*:/usr/bin/../share/java/confluent-support-metrics/*:/usr/share/java/confluent-support-metrics/* org.apache.kafka.connect.cli.ConnectDistributed /etc/kafka-connect/kafka-connect.properties
root      6263  6252  0 08:58 pts/1    00:00:00 grep java
root@connect:/#

这是否意味着当我们在一个正在运行的自定义连接器中发生内存泄漏时，它会导致 kafka 连接节点崩溃？

标签： apache-kafkaapache-kafka-connect

解决方案

多个线程在单个 JVM 中运行。但是，如果您只在一个连接任务上获得 OOM，那么它会破坏 JVM，这就是为什么您应该添加更多服务器（因为您正在运行分布式模式）并通过设置将堆从仅 2G 的最大值增加KAFKA_HEAP_OPTS

此外，如果运行容器，典型的模式可能是每个主题分组一个容器。例如，5 个主题将用于 Elasticsearch，另外 2 个主题将用于 HDFS，另外 4 个主题将用于 JDBC，等等。将创建 3 个单独的容器。这样，对于失败的 Java 进程，您的“爆炸半径”会更小

如果你使用 Confluent 容器，设置CONNECT_GROUP_ID为一组容器相同，还要确保你所做的每个分组都有自己的配置、偏移和状态主题

推荐阅读