java - 如何使用 Oracle 驱动程序依赖自定义构建 Spring Cloud Data Flow 服务器?
问题描述
一段时间以来,我一直在尝试使用 SCDF,打算将 Oracle 数据库用作数据源。由于许可问题,必须将 Oracle 驱动程序添加到 SCDF 服务器的类路径中,或者我们必须使用 Oracle 驱动程序依赖项(我有)对 SCDF 服务器进行自定义构建。当我从 github 下载自定义构建项目dataflow-server-22x(仅此项目)并尝试执行时,我在 pom.xml 中遇到了一个缺少的工件问题,如下所示。
Missing artifact io.pivotal:pivotal-cloudfoundry-client-reactor:jar:1.1.0.RELEASE
at <xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> of pom.xml
那么我必须如何执行这个 SCDF jar 的自定义构建。我在这里错过了什么吗?
此外,我的意图只是构建一个包含一组批处理作业的 jar,这些批处理作业可以部署在 SCDF 中并从 SCDF 进行编排。但我在这里没有使用 Docker 或 Kubernetes/CloudFoundry。
注意:我已经问了一个问题来澄清这个问题,这导致了我这个问题。他们说我应该使用自定义构建,但无法确切说明如何或如何解决自定义构建产生的问题。因此我发布了这个问题。 SCDF+甲骨文
提前致谢。
更新1:
上述问题在 Ilayaperumals 建议后得到解决。但是我遇到了另一个问题。
org.springframework.context.ApplicationContextException: Failed to start bean 'taskLifecycleListener'; nested exception is java.lang.IllegalArgumentException: Invalid TaskExecution, ID 3 not found
但是在我从 SCDF 执行任务之后,我在 task_execution 表中看到了 Id=3。自定义 SCDF 项目具有与我的 Spring 批处理作业属性相同的数据库配置属性值。这里有几点需要注意的是,
- Spring-boot-starter-parent:2.2.5.RELEASE,
- 春云数据流:2.2.0.RELEASE
- 我使用批处理作业类的实例从 Boot 的主类加载我的所有批处理作业,并且只有主类(启动所有作业)包含 @EnableTask 注释。下面是我的班级结构。
@SpringBootApplication
@EnableScheduling
@EnableTask
public class SpringBootMainApplication{
@Autowired
Job1Loader job1Loader;
public static void main(String[] args) {
SpringApplication.run(SpringBootMainApplication.class, args);
}
@Scheduled(cron = "0 */1 * * * ?")
public void executeJob1Loader() throws Exception
{
JobParameters param = new JobParametersBuilder()
.addString("JobID",
String.valueOf(System.currentTimeMillis()))
.toJobParameters();
jobLauncher.run(job1Loader.loadJob1(), param);
}
}
//Job Config
@Configuration
@EnableBatchProcessing
public class Job1Loader {
@Bean
public Job loadJob1()
{
return jobBuilderFactory().get("JOb1Loader")
.incrementer(new RunIdIncrementer())
.flow(step01())
.end()
.build();;//return job
}
我在我的 Spring 作业项目中使用了两个不同的数据源,它们都是 oracle 数据源(不同的服务器)。我将其中一个标记为主要数据源,并在我的“DefaultTaskConfigurer”的自定义实现中使用了该数据源,如下所示。
@Configuration
public class TaskConfig extends DefaultTaskConfigurer {
@Autowired
DatabaseConfig databaseConfig;
@Override
public DataSource getTaskDataSource() {
return databaseConfig.dataSource();//dataSource() returns the
primary ds
}
}
- 以下是我在 SCDF 自定义 serer 和 Spring Batch 项目中使用的属性。
**Spring batch Job :**
spring.datasource.jdbc-url=jdbc:oracle:thin:@mydb
spring.datasource.username=db_user
spring.datasource.password=db_pwd
spring.datasource.driver-class-name=oracle.jdbc.OracleDriver
**SCDF customer Server:**
spring.datasource.url=jdbc:oracle:thin:@mydb
spring.datasource.username=db_user
spring.datasource.password=db_pwd
spring.datasource.driver-class-name=oracle.jdbc.OracleDriver
我尝试在启动服务器时将 db 配置作为 args 提供,并且很少有其他选项,例如将 @Enabletask 添加到所有作业配置类,但它们似乎都不起作用。
我在这里想念什么?
解决方案
由于您提到您不在 CloudFoundry 上运行它并且特定依赖项io.pivotal:pivotal-cloudfoundry-client-reactor:jar
来自 ,因此spring-cloud-dataflow-platform-cloudfoundry
您需要从自定义构建配置中删除此依赖项,如下所示:
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-dataflow-server</artifactId>
<exclusions>
<exclusion>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-dataflow-platform-cloudfoundry</artifactId>
</exclusion>
</exclusions>
</dependency>
此外,doing./mvnw dependency:tree
将帮助您确定依赖项来自何处:
\- org.springframework.cloud:spring-cloud-dataflow-platform-cloudfoundry:jar:2.5.0.BUILD-SNAPSHOT:compile
[INFO] | | +- org.springframework.cloud:spring-cloud-deployer-cloudfoundry:jar:2.3.0.BUILD-SNAPSHOT:compile
[INFO] | | | +- org.cloudfoundry:cloudfoundry-client-reactor:jar:4.1.0.RELEASE:compile
[INFO] | | | |
[INFO] | | | +- io.projectreactor.addons:reactor-extra:jar:3.3.2.RELEASE:compile
[INFO] | | | \- io.pivotal:pivotal-cloudfoundry-client-reactor:jar:2.0.0.RELEASE:compile
[INFO] | | | \- io.pivotal:pivotal-cloudfoundry-client:jar:2.0.0.RELEASE:compile
推荐阅读
- c# - WebApi 项目和 MVC 项目在同一个解决方案中是最佳实践吗?
- python - python重新匹配只出现一次(不重复连续)
- sql - 使用 RANK() OVER 计数时跳过空值
- python - 无法在 TensorFlow Estimator 中训练 Keras 预训练模型
- node.js - Mongoose:有条件地在嵌套文档数组中进行原子查找和更新
- python - 我在 iPad 上使用 Python 编译器来练习程序,但是看不到任何图形视觉效果
- javascript - 保存来自 Whatsapp Web 的未知人员的姓名和数量
- java - 查找要在 pom .XML 文件中使用的正确 Junit 版本
- android - 设置自定义ActionBar在左右两侧留出空间
- html - 如何在wiki中展开这两个文件夹