时间戳

首页 > 解决方案 > Kafka-s3-connect 启动后立即终止

amazon-s3 - Kafka-s3-connect 启动后立即终止

问题描述

我想在我的 ec2 服务器上使用 confluence 连接器将 aws-Kafka 与 s3 连接起来。我尝试像在教程中一样配置所有内容。当我运行 connect-standalone 或 connect-distributed 时，起初一切顺利，我在日志中没有收到任何错误，但是在有关连接开始的信息之后，我的连接器立即死亡，没有任何信息。有人遇到同样的问题吗？

config/connect-standalone.properties

bootstrap.servers=msk-connection-string
plugin.path=/home/ubuntu/connectors/confluentinc-kafka-connect-s3

key.converter=org.apache.kafka.connect.converters.ByteArrayConverter
value.converter=org.apache.kafka.connect.converters.ByteArrayConverter

offset.storage.file.filename=/tmp/connect.offsets

连接器属性

connector.class=io.confluent.connect.s3.S3SinkConnector
format.class=io.confluent.connect.s3.format.bytearray.ByteArrayFormat
flush.size=1

topics=SomeTopic 

s3.bucket.name=bucket-name-here
s3.region=us-west-2
s3.part.size=5242880

aws.access.key.id=****
aws.secret.access.key=****

behavior.on.null.values=ignore

storage.class=io.confluent.connect.s3.storage.S3Storage
topics.dir=../topics
store.url=http://bucket-name.s3-website-Region.amazonaws.com

key.converter=org.apache.kafka.connect.converters.ByteArrayConverter
value.converter=org.apache.kafka.connect.converters.ByteArrayConverter

日志：

[2021-08-20 06:32:35,954] INFO Kafka version: 2.7.0 (org.apache.kafka.common.utils.AppInfoParser:119)
[2021-08-20 06:32:35,954] INFO Kafka commitId: 448719dc99a19793 (org.apache.kafka.common.utils.AppInfoParser:120)
[2021-08-20 06:32:35,954] INFO Kafka startTimeMs: 1629441155953 (org.apache.kafka.common.utils.AppInfoParser:121)
Killed

请帮忙！

标签： amazon-s3amazon-ec2apache-kafkaconfluent-platformaws-msk

解决方案

MSK 需要 TLS 连接

向config/connect-standalone.properties添加几行带有 ssl 配置的行时

producer.security.protocol=SSL
consumer.security.protocol=SSL

security.protocol=SSL
ssl.protocol=TLS
ssl.truststore.location=/your/path/to/truststore/kafka.client.truststore.jks

它开始正常工作！

推荐阅读