时间戳

首页 > 解决方案 > 无法读取 pyspark 中的 csv 文件

pyspark - 无法读取 pyspark 中的 csv 文件

问题描述

我是 pyspark 的新手，我做了一些初始教程。当我尝试使用 Jupyter Notebook 在 Spark 框架中的本地主机上加载 CSV 文件时，会弹出下面提到的错误。我的java版本是8.0

from pyspark.sql import SparkSession
spark = SparkSession \
    .builder \
    .appName('sql based spark data analysis') \
    .config('spark.some.config.option', 'some-value') \
    .getOrCreate()
df = spark.read.csv('C:/Users/sitaram/Downloads/creditcardfraud/creditcard.csv')

我的错误如下：

Py4JJavaError: An error occurred while calling o55.csv.
      : org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: 
      java.lang.RuntimeException: Error while running command to get file 
      permissions : java.io.IOException: (null) entry in command string: null ls -F C:\tmp\hive
      at 

  org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:770)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:866)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:849)
at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:1097)
  at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:65
   Caused by: java.lang.RuntimeException: java.lang.RuntimeException: Error 
   while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F C:\tmp\hive

标签： pyspark

解决方案

请试试C://Users//sitaram//Downloads//creditcardfraud//creditcard.csv

推荐阅读