apache-spark - Spark UI 显示错误的内存分配
问题描述
我们目前遇到了一个问题，Spark 显示我们的每个节点只有 4GB 内存。但是，我们通过设置分配了 10GB 的内存spark-worker.jvmOptions = -Xmx10g。我们无法弄清楚是什么导致了这种异常限制/不正确的内存分配。
当我们去运行 spark 作业时，它会像每个工作人员只有 4GB 的内存一样运行。
任何帮助都会很棒！谢谢！
解决方案
--executor-memory您应该使用 :在您的 spark-submit 中设置工作人员内存
推荐阅读
- javascript - Django 从 URL 渲染 json 并自动更新
- javascript - onchange 不同的选择元素不同的结果
- javascript - Webpack 构建在本地工作但在服务器上失败
- java - 当没有输入时如何让 hasNext() 循环停止？
- javascript - 为什么 Props 不传递？
- spring - 在 `ExceptionTranslationFilter` 的情况下 Spring Security 过滤器链如何工作
- android - 需要帮助：无法发送彩信 Xamarin Forms android
- python - Selenium - 参考内部元素并获取其值
- python - 我想为音频文件提取 MFCC 特征
- wordpress - 使用 Wordpress 安装子域重定向到根域