apache-spark - spark.executor.memory 未设置。显示默认值
问题描述
我在客户端模式下启动了我的 spark 程序。创建 SparkSession 时将 spark.executor.memory 设置为 24g。但是，当我检查 Spark UI 日志时，我看到 spark.executor.memory 为 2g。为什么在 SparkSession 创建期间没有设置值？
解决方案
推荐阅读
- c# - SSIS：调用目标已引发错误异常
- r - 拆分字符串、标记子字符串并将标记转换为数字向量
- serial-port - 在 arduino ide 上为 ESP32 Dev 选择 com 端口
- ruby-on-rails - Rails 在更新时忽略参数
- algorithm - 是否有一种算法来检测一条线和 Catmull-Clark 细分曲面之间的交点？
- c# - 当仍然引用它的对象字段时，C# 对象有资格进行垃圾回收吗？
- plot - Pine 脚本：创建自定义烛台
- html - 连接远程 HTML 网站和远程数据库
- javascript - 使用随机生成的名称创建子集合（带 React-Redux 的 Firestore）
- c# - SQL Server 标识不会随输入自动递增