首页 > 解决方案 > Spring Batch可以在不同的JVM中并行执行多个步骤

问题描述

Spring 批处理 - 需要帮助才能在多个节点中并行运行批处理作业的独立步骤。具有三个步骤的弹簧批处理作业(JobA)[StepA(在compute1中)和StepB(在compute2中)和StepC]

StepA 和 StepB 是独立的步骤和内存密集型,因此不能在同一计算节点/JVM 上并行运行。要使 StepC 启动(StepA 和 StepB)都需要成功完成。我不想按顺序执行 StepA 和 StepB 以节省时间。为了实现并行,StepA 和 StepB 希望在不同的节点上并行运行。

我了解远程分块和分区有助于拆分数据集并通过使用多个工作节点运行相同的步骤。

标签: javaspring-batch

解决方案


不,不是开箱即用的。您可能需要一个StepHandler能够远程运行步骤并将其步骤执行返回到封闭作业的自定义。


推荐阅读