java - Pyspark - 找不到文件异常
问题描述
仅在 spark 集群模式下运行spark-submit命令时遇到以下错误,而在本地运行时得到正确的输出。错误显示在 CMD 提示符中,如下图所示:
Pyspark 错误
- 我已使用命令 chmod -R 777 /path/to/folder 授予对相关文件夹的读写权限。
- 此外,当我在集群和本地运行 Pi.py 示例的spark submit命令时;它运行良好。
- 仅在说明文件输入时问题仍然存在
请就此问题的合适解决方案提出建议。它在 MacOS 和 Windows 系统上都存在,我没有合适的解决方案
这是代码片段WC.py
WC.py
代码
解决方案
推荐阅读
- excel - 如何根据另一列中的唯一值复制一系列数据并将其粘贴到另一张工作表中
- aws-direct-connect - AWS:为什么我们在配置 DX 网关时必须指定 2 个 BGP ASN?
- html - 为什么 html 中的内联输入标记会对宽度和高度属性做出反应?
- reactjs - React 页面不会加载映射的元素,直到再次调用它们
- javascript - JS正则表达式匹配字符串中以空格分隔的单词
- javascript - 添加项目时如何在每行中保持相同数量的 flex 子项
- c# - 根据返回的状态码将 JSON 对象反序列化为字符串或具体类型
- reactjs - 在每个页面中显示 PageNotFound 组件。反应
- sql - 在 SELECT 语句的结果中添加任意列
- html - Bootstrap col-4 类占用容器的全宽问题