时间戳

首页 > 解决方案 > 在 StreamSets 2.5 版中使用 StreamSets 3.8 的 JDBC 元数据处理器

java - 在 StreamSets 2.5 版中使用 StreamSets 3.8 的 JDBC 元数据处理器

问题描述

我的团队需要使用旧版本的 StreamSet，版本 2.5。但是在 3.8 版本中有一些重要的处理器我们想要包含在旧环境中，即 JDBC 元数据处理器。

已完成的工作如下：

  1. 使用 StreamSets 版本 2.5.1.1 创建示例自定义处理器项目

    mvn archetype:generate -DarchetypeGroupId=com.streamsets -DarchetypeArtifactId=streamsets-datacollector-stage-lib-tutorial -DarchetypeVersion=2.5.1.1 -DinteractiveMode=true

  2. StreamSets 3.8 中基于 JDBC Meta Data 类修改代码，POM 中的引用库为 StreamSets 3.8：

2.1 流集-datacollector-api

2.2 流集-datacollector-jdbc-protolib

  1. 将自定义的jar打包上传到StreamSets UI的外部库。

  2. 将依赖项 jar 上传到 StreamSets UI：

4.1 流集-datacollector-api-3.8.jar

4.2 流集-datacollector-jdbc-protolib-3.8.jar

除了我上传后，一切都找到了

流集-数据收集器-jdbc-protolib-3.8.jar

并重新启动 StreamSets，日志中有错误：

java.lang.NoClassDefFoundError: com/streamsets/pipeline/api/base/configurablestage/DPushSource
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:468)
at java.net.URLClassLoader.access$100(URLClassLoader.java:74)
at java.net.URLClassLoader$1.run(URLClassLoader.java:369)
at java.net.URLClassLoader$1.run(URLClassLoader.java:363)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:362)
at com.streamsets.pipeline.BlackListURLClassLoader.findClass(BlackListURLClassLoader.java:77)
at com.streamsets.pipeline.SDCClassLoader.loadClass(SDCClassLoader.java:341)
at com.streamsets.pipeline.SDCClassLoader.loadClass(SDCClassLoader.java:323)
at com.streamsets.datacollector.stagelibrary.ClassLoaderStageLibraryTask.loadStages(ClassLoaderStageLibraryTask.java:325)
at com.streamsets.datacollector.stagelibrary.ClassLoaderStageLibraryTask.initTask(ClassLoaderStageLibraryTask.java:192)
at com.streamsets.datacollector.task.AbstractTask.init(AbstractTask.java:66)
at com.streamsets.datacollector.task.CompositeTask.initTask(CompositeTask.java:48)
at com.streamsets.datacollector.task.AbstractTask.init(AbstractTask.java:66)
at com.streamsets.datacollector.task.TaskWrapper.init(TaskWrapper.java:44)
at com.streamsets.datacollector.main.Main$1.run(Main.java:101)
at com.streamsets.datacollector.main.Main$1.run(Main.java:98)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at com.streamsets.datacollector.main.Main.doMain(Main.java:98)
at com.streamsets.datacollector.main.DataCollectorMain.main(DataCollectorMain.java:46)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.streamsets.pipeline.BootstrapMain.main(BootstrapMain.java:308)

我注意到这个类存在于 API-3.8 jar 和 API-2.5 中的类存在但具有不同的包路径，

API-3.8 com/streamsets/pipeline/api/base/configurablestage/DPushSource

API-2.5 com/streamsets/pipeline/configurablestage/DPushSource

我缺少使它起作用的任何提示吗？谢谢。

标签： javajdbcstreamsets

解决方案

不用说，自 StreamSets Data Collector 2.5.0 以来有许多修复和增强功能，我强烈建议您升级。

话虽如此，由于DPushSource特定于源，并且您专注于处理器，因此最简单的方法是简单地删除 JDBC 源。删除下的所有内容，jdbc-protolib/src/main/java/com/streamsets/pipeline/stage/origin/jdbc然后重试。

推荐阅读