首页 > 解决方案 > 默认情况下,spark 在哪个文件系统中查找读取文件?

问题描述

我正在尝试在 CentO 上以独立模式运行 spark,并尝试使用从本地文件系统读取文本文件

scala > var text = sc.textFile("/home/Documents/test.txt")

但它给出了例外 -

引起:java.net.ConnectException:连接被拒绝。

但是当我将代码更改为:

 scala > var text = sc.textFile("file:///home/Documents/test.txt")

我能够阅读它。
我的问题是:

当尝试读取没有 file:/// 的文件时,它是否在 HDFS 文件系统中查找文件?是的,那么 HDFS 是默认 FS,在哪里火花搜索文件?

标签: apache-spark

解决方案


推荐阅读