apache-flink - slot 共享对 Flink 有什么帮助?
问题描述
阅读有关 Flink 的信息,槽共享的确切好处是什么,例如为什么我要在 Flink 作业中隔离槽?
我的想法是,假设一个4GB
JVM 任务管理器,如果我将它分成两个任务槽,一个调用ts1
另一个,ts2
我可以在其中进行非常密集的窗口操作,ts1
而一些map, filter
等可以进入ts2
?
解决方案
槽共享意味着多个子任务被安排到同一个槽中——或者换句话说,这些操作员实例最终共享资源。这有以下好处:
- 更好的资源利用。否则,您可能很容易以一些插槽做很少的工作而结束,而其他插槽则非常忙碌。
- 减少网络流量。
- 然后,插槽数最终成为作业中的最高并行度。让每个插槽运行一个并行的作业片段可以更容易地推断运行时中发生的事情。
正如您所指出的,如果您想将更多资源用于昂贵的运营商,您可能会发现禁用槽共享是有利的。另一方面,您可以启用插槽共享,并为每个插槽提供更多内核和/或内存。
推荐阅读
- ios - 是否可以在没有 DEP 或 Apple Configurator 2 的情况下为 iOS 激活监督模式?
- r - R:并排几个模型的 Anova 输出
- php - php 下载图像并将其放在几个不同的文件夹中
- postgresql - Laravel whereIn array 参数号无效:参数未定义
- python - 如何更改 VisualStudio 的运行快捷方式运行命令(python)
- laravel - 如何在 swagger php 中的 application/json 中发送 multipart/form-data 文件
- java - Java中的JSON到对象转换
- bash - 使用 i3blocks 在后台启动程序后,Bash 脚本暂停
- c++ - 在 VC++ 通知回调中 NMHDR* 可以为 NULL 吗?
- javascript - 如何在 bitbucket pipelines.yml 文件中编写条件语句?