apache-flink - 为什么用户必须明确设置并行度

Question

我启动了一个带有nTaskManagers 和s每个 TaskManager 插槽的 flink 应用程序，这样，我的应用程序将有 n*s 个插槽。

这意味着，flink 最多可以同时运行n*s子任务。但是为什么 flink 不尝试使用大部分资源来运行尽可能多的子任务，并打扰最终用户明确设置并行度呢？

对于不知道并行度设置（默认为1）的flink初学者，即使给了更多资源，它也总是只运行一个子任务！

我想知道这里的设计注意事项，谢谢！

标签： apache-flink

Answer 1

一个 Flink 集群也可以被多个用户使用，或者一个用户可以在一个集群上运行多个作业。此类集群的大小不适合运行单个作业，而是运行多个作业。在这样的环境中，如果作业默认获取所有可用资源，这是不可取的。