amazon-s3 - 使用 kafka 连接器将 kafka 主题数据作为 csv 写入 s3 存储桶

Question

我正在使用 Kafka 连接器将 kafka 主题数据以 csv 的形式写入 s3 存储桶。我正在使用以下 curl 命令

curl -X POST \
   localhost:8084/connectors \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json' \
  -d '{
  "name": "S3SinkConnector",
  "config": {
   "connector.class": "io.confluent.connect.s3.S3SinkConnector",
  "s3.region": "",
  "flush.size": "1000",
  "topics": "mytopic.value",
  "tasks.max": "1",
  "aws.secret.access.key": "",
  "format.class": "io.confluent.connect.s3.format.json.JsonFormat",
  "aws.access.key.id": "",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter.schemas.enable": "false",
  "storage.class": "io.confluent.connect.s3.storage.S3Storage",
  "s3.bucket.name": "",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter",
  "key.converter.schemas.enable": "false"
  }
}'

在 kafka 连接器日志中没有看到错误日志。但我看不到写入 s3 存储桶的主题数据。谁能指出我出了什么问题？

标签： amazon-s3apache-kafkaapache-kafka-connectkafka-topic