apache-spark - 限制 Spark 应用程序在工作节点上的内存使用
问题描述
我有一个由一个主节点和一堆工作节点组成的计算机集群，每个节点都有 8GB 的物理 RAM。我想在这个集群上运行一些 Spark 作业，但是限制每个节点用于执行这个作业的内存。这在 Spark 中可能吗？
例如，我可以运行一项工作，以便每个工作人员最多只能使用 1GB 的物理 RAM 来完成其工作吗？
如果没有，是否有其他方法可以人为地“限制”每个工人拥有的 RAM？
如果可以以某种方式限制 RAM，那么当 Spark“用完”物理 RAM 时会发生什么？它是分页到磁盘还是 Spark 作业只是杀死自己？
解决方案
推荐阅读
- printing - hplip-3.20.9 - 错误 1 失败：找不到 -lImageProcessor
- python - python 3.9版安装numpy失败
- java - 来自命令行的 Maven：依赖项不起作用
- python - Discord.py 自动审核
- r - 可视化不同子组的分布
- rdf - 如何创建可重用谓词 (RDF)？
- c# - Unity3D：将所有游戏对象转换为相同大小，而不管其比例如何
- javascript - 获取每个项目的完整依赖项列表，当最初为每个项目指定一个级别的子依赖项和父依赖项时
- c# - Atata 附加到浏览器实例
- r - 变更单边距显示在 facet_grid ggplot2 中？