java - Spring Batch可以在不同的JVM中并行执行多个步骤
问题描述
Spring 批处理 - 需要帮助才能在多个节点中并行运行批处理作业的独立步骤。具有三个步骤的弹簧批处理作业(JobA)[StepA(在compute1中)和StepB(在compute2中)和StepC]
StepA 和 StepB 是独立的步骤和内存密集型,因此不能在同一计算节点/JVM 上并行运行。要使 StepC 启动(StepA 和 StepB)都需要成功完成。我不想按顺序执行 StepA 和 StepB 以节省时间。为了实现并行,StepA 和 StepB 希望在不同的节点上并行运行。
我了解远程分块和分区有助于拆分数据集并通过使用多个工作节点运行相同的步骤。
解决方案
不,不是开箱即用的。您可能需要一个StepHandler
能够远程运行步骤并将其步骤执行返回到封闭作业的自定义。
推荐阅读
- java - why is newCachedThreadPool good for short-lived asynchronous tasks?
- gnome - ubuntu mate will not log on after changing one of my init login scripts
- r - RStudio tells me packages required in a .r file are not installed - but I've been using them for years! What gives?
- angular - Angular ng build --prod, output index.html produces nothing
- php - 使用 XPath 从 Icecast 获取当前歌曲
- python-3.x - 在图中运行 keras.Models.fit()
- java - Hibernate SQLGrammarException on join table
- google-apps-script - How to create a button on google slide that will trigger the insert image option?
- typescript - ref.getMetadata does not subscribe in AngularFireStorage
- flutter - 如何使用 SharedPreferences-Flutter/Dart 从 json 获取内容