apache-kafka - Kafka Connect Hdfs Sink 连接器 - 找不到类 io.confluent.connect.hdfs.string.StringFormat

Question

嗨，我正在尝试使用 hdfs sink 连接器将 csv 数据从 kafka 移动到 hdfs，以下是我使用的属性

连接属性

name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
format.class=io.confluent.connect.hdfs.string.StringFormat
tasks.max=1
topics=topic_name
hadoop.conf.dir=/etc/hadoop/conf
hdfs.url=hdfs://nameservice1/dir
flush.size=3
hdfs.authentication.kerberos=true
connect.hdfs.principal=principal
connect.hdfs.keytab=principal.keytab
hdfs.namenode.principal=principal
partitioner.class=io.confluent.connect.hdfs.partitioner.TimeBasedPartitioner
partition.duration.ms=300000
path.format=path.format='year'=YYYY/'month'=MM/'day'=dd
locale=en
timezone=EST

工人属性

bootstrap.servers=kafkaserver
plugin.path=/opt/confluent/share/java
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter
internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
offset.storage.file.filename=/tmp/connect.offsets
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false
consumer.group.id=connect_group
consumer.auto.offset.reset=earliest

我使用 confluent-5.0.1

但是当我运行 kafka connect 时出现以下异常

连接器配置无效并包含以下 1 个错误：配置 format.class 的值 io.confluent.connect.hdfs.string.StringFormat 无效：找不到类 io.confluent.connect.hdfs.string.StringFormat。您还可以在端点 /{connectorType}/config/validate at org.apache.kafka.connect.runtime.AbstractHerder.maybeAddConfigErrors(AbstractHerder.java:423) at org.apache.kafka.connect 中找到上述错误列表。 runtime.standalone.StandaloneHerder.putConnectorConfig(StandaloneHerder.java:189) 在 org.apache.kafka.connect.cli.ConnectStandalone.main(ConnectStandalone.java:107)

标签： apache-kafkahdfskafka-consumer-apiapache-kafka-connect