首页 > 解决方案 > Pyspark - 找不到文件异常

问题描述

仅在 spark 集群模式下运行spark-submit命令时遇到以下错误,而在本地运行时得到正确的输出。错误显示在 CMD 提示符中,如下图所示:

Pyspark 错误

在此处输入图像描述

  1. 我已使用命令 chmod -R 777 /path/to/folder 授予对相关文件夹的读写权限。
  2. 此外,当我在集群和本地运行 Pi.py 示例的spark submit命令时;它运行良好。
  3. 仅在说明文件输入时问题仍然存在

请就此问题的合适解决方案提出建议。它在 MacOS 和 Windows 系统上都存在,我没有合适的解决方案

这是代码片段WC.py

WC.py 代码

在此处输入图像描述

标签: javapythonapache-sparkapache-spark-sqlapache-spark-mllib

解决方案


推荐阅读