apache-spark - 为什么在本地机器上的纱线上运行 spark 时 hdfs 下的 spark .sparkStaging 文件夹？
问题描述
我想弄清楚为什么我的 spark .sparkStaging 文件夹默认位于本地 hdfs 上的 /user/name/ 文件夹下？我从来没有为 spark 设置工作目录。因此，为什么以及如何使用 hdfs 获得这个集合？什么配置为此设置了默认值。我在 UI 选项卡中检查了 spark 环境和 yarn 的配置，但我看不到任何设置它的东西。有人可以给我一个提示吗？
解决方案
推荐阅读
- css - CSS网格项目退出网格s 但正确地与s
- apache-kafka - 从 changelog kafka topic 恢复 StateStore 时 kafka 流处理器的状态
- c++ - 以类对象为成员的类成员初始化顺序
- python - LSTM 训练期间的持续损失 - PyTorch
- excel - 为表格的所有现有/新行设置特定高度
- python-3.x - 我正在尝试在使用边界矩形的最小区域应用透视变换后裁剪图像
- c# - 无法检索目标数据库架构 - Visual Studio 错误
- php - 我需要帮助来解决我的不正确的查询，该查询没有在 php 中显示文本框日期
- python - 在第二个脚本函数中传递来自第一个 python 脚本主函数的数据
- c# - 如何使用 Angular 个人用户帐户身份验证自定义 ASP.NET Core Web 应用程序的登录页面？