scala - Spark：配置每个核心的并发任务数
问题描述
我正在运行一个火花作业，其中任务不是纯粹受 CPU 限制。因此，我希望 spark 能够同时运行比可用 CPU 数量更多的任务。
可以通过设置为一个任务分配多个核心spark.task.cpus=2
但是减少核心数量并不能以这种方式工作。例如spark.task.cpus=0.1不起作用。
是否可以在没有手动并行化的情况下为每个核心运行少量任务？
解决方案
推荐阅读
- javascript - Next Js 错误：元素类型无效：预期为字符串（对于内置组件）或类/函数（对于复合组件）但得到：未定义
- sql - 为多组创建每组 id 的所有成对组合
- python - Pandas - 如何将类型和值列转换为每种类型的新列
- python - Django覆盖模型保存方法以检查多对多字段是否已更改
- python - 如何使用 model.save() 将模型保存到 .pb 文件和 tf2 & huggingface-transformers？
- amazon-web-services - 使用动态策略启动 fargate 任务
- python - 无法使用 Scrapy 转到下一页
- java - 将有序 Bean 注入到集合中不遵守定义的顺序
- php - Laravel 在 Json 列中搜索两个值之间的数字
- angular - 使用线束、选择器和自定义属性从特定表格行中选择特定按钮