时间戳

首页 > 解决方案 > 在 Pyspark 中导入 csv 时如何修复“'路径不存在”

python - 在 Pyspark 中导入 csv 时如何修复“'路径不存在”

问题描述

我正在关注本教程（https://www.guru99.com/pyspark-tutorial.html）并尝试使用 sqlContext.read.csv 读取 csv 文件，但此错误显示：'路径不存在：文件：/ C:/Users/asus/AppData/Local/Temp/spark-62c50c87-060e-49f7-b331-111abfa496f3/userFiles-da6cdfff-ea8a-426c-b4f4-fe5a15c67794/adult.csv;'

我听说我可能必须在同一共享文件系统的所有节点上复制文件或使用 HDFS，但我不知道我应该如何做这些。

这是代码：

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

df = sqlContext.read.csv(SparkFiles.get("adult.csv"), header=True, inferSchema= True)

这是我得到的结果：

AnalysisException: 'Path does not exist: file:/C:/Users/asus/AppData/Local/Temp/spark-62c50c87-060e-49f7-b331-111abfa496f3/userFiles-da6cdfff-ea8a-426c-b4f4-fe5a15c67794/adult.csv;'

标签： pythonapache-sparkpyspark

解决方案

您应该按照您粘贴的网站上的说明进行操作，首先执行以下操作：

url = "https://raw.githubusercontent.com/guru99-edu/R-Programming/master/adult_data.csv"
from pyspark import SparkFiles
sc.addFile(url)
sqlContext = SQLContext(sc)

然后您可以使用以下命令加载文件read.csv：

df = sqlContext.read.csv(SparkFiles.get("adult.csv"), header=True, inferSchema= True)

sc.addFile(url)设置要在函数SparkFiles中使用的根目录。get您可以运行它来检查当前的根目录：

SparkFiles.getRootDirectory()

它应该看起来像这样：

C:/Users/asus/AppData/Local/Temp/spark-62c50c87-060e-49f7-b331-111abfa496f3/userFiles-da6cdfff-ea8a-426c-b4f4-fe5a15c67794/

因此，当您调用 时SparkFiles.get('adult.csv')，Spark 正在该目录下查找文件，这就是您看到错误消息的原因。

另一种解决方案是下载文件，放入本地目录，然后运行：

df = spark.read.csv(your_local_path_to_adult.csv, header=True, inferSchema= True)

推荐阅读