parallel-processing - Flink CPU 配置
问题描述
Flink 官方文档指出,对于 cpu 中的每个核心,您必须分配 1 个插槽并同时将并行度水平提高 1 个。
我的一个自定义运算符需要超过 1 个 CPU 用于计算(这就是它在 Heron 中的工作方式)。我系统的cpu是2.5。但是 Flink 只使用了 1 个 cpu。你知道我怎样才能配置 Flink 以使用更多的 CPU,只有 1 个插槽?
解决方案
“每个核心一个插槽”只是一个经验法则。没有什么可以强制执行此操作。
每个子任务(操作员链的一个实例)都是单线程的,但是任务管理器中的插槽以及机器或容器中的任务管理器将使用它们可用的所有资源。
推荐阅读
- mysql - 我们如何减去两列并存储在 laravel 的另一列中,我是 laravel 的新手
- pgadmin-4 - 无法在服务器中联系 PgAdmin 4
- postgresql - 使用 activerecord find_or_initialize_by 创建的 2 个条目,后跟 update_attributes
- tensorflow - 自定义损失函数不断损失
- algorithm - 如何替换字符串中的问号,使相同的字母不会相邻出现?
- python - 如何在 python 中使用 selenium 禁用 chrome 弹出通知?
- jmeter - Jmeter如何每秒发送恒定数量的请求
- android - 如何从根目录中清除所有应用程序数据以进行注销?
- c# - 保存 Snake 的位置并用它自己检测 Collison。怎么了?
- string - 最长回文(动态编程)代码因大输入超时而失败。如何改进它?