时间戳

首页 > 解决方案 > 设置 Kafka 连接器管道时出错

mysql - 设置 Kafka 连接器管道时出错

问题描述

设置 Kafka 连接器管道时出错

环境概览：

Docker 容器

  1. docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=mypw -d mysql:latest
  2. docker run -d --name Elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" Elasticsearch：7.9.2

操作系统

  1. WSL2 开启 - Windows-10 版本 1909（操作系统版本 18363.1139）

卡夫卡版

  1. 汇合-6.0.0

您好，我正在阅读 Kafka：Neha Narkhede、Gwen Shapira 和 Todd Palino 的权威指南 我已经阅读了连接器示例：MySQL 到 Elasticsearch章节（第 146 页），我正在按照说明从MySql 源到Elasticsearch 接收器。我对说明做了一些转移

mysql 连接器工作正常并将数据读入主题，但是当我尝试创建Elasticsearch连接器时，出现以下错误：

...
(io.confluent.connect._Elasticsearch_._Elasticsearch_SinkConnectorConfig:354)
[2020-10-16 12:22:27,170] ERROR WorkerSinkTask{id=elastic-login-connector-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:187)
java.lang.NoClassDefFoundError: io/searchbox/action/Action
    at io.confluent.connect._Elasticsearch_._Elasticsearch_SinkTask.start(_Elasticsearch_SinkTask.java:74)
    at io.confluent.connect._Elasticsearch_._Elasticsearch_SinkTask.start(_Elasticsearch_SinkTask.java:48)
    at org.apache.kafka.connect.runtime.WorkerSinkTask.initializeAndStart(WorkerSinkTask.java:302)
    at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:193)
    at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:185)
    at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:235)
    at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515)
    at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
    at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128)
    at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)
    at java.base/java.lang.Thread.run(Thread.java:834)
Caused by: java.lang.ClassNotFoundException: io.searchbox.action.Action
    at java.base/java.net.URLClassLoader.findClass(URLClassLoader.java:471)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:589)
    at org.apache.kafka.connect.runtime.isolation.PluginClassLoader.loadClass(PluginClassLoader.java:104)
    at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:522)
    ... 11 more
...

有人可以协助解决问题并解释错误吗？

谢谢

罗伊

标签： mysqlelasticsearchapache-kafkaconfluent-platform

解决方案

好的，我发现了问题。在弹性搜索连接器源代码上运行“mvn package”后，我应该将整个目录复制到 Kafka 的 /share 目录中，而我只使用了一个 .jar 文件。

推荐阅读