scala - 将文件导入databricks笔记本的问题

Question

我正在尝试将 .txt 文件从本地计算机导入到 databricks 笔记本（scala）中。我进入数据部分并单击“添加数据”。在顶部面板中选择了“上传文件”选项，我单击浏览以查找文件，然后单击“在笔记本中创建表”。然后我得到文件的路径，但是当我尝试通过命令“val file_location =”/FileStore/tables/....txt”访问另一个笔记本中的数据时，我得到一个“java.io.FileNotFoundException：/FileStore /tables/....txt（没有这样的文件或目录）”。有人知道我在这里做错了什么以及我应该做什么吗？

亲切的问候

标签： scalaapache-sparkimportdatabrickstxt

Answer 1

格式应该是text，不是txt。请参阅文档：

scala> val df = spark.read.format("text").load("README.md")
df: org.apache.spark.sql.DataFrame = [value: string]

scala> df.count
res0: Long = 104

或者您可以使用spark.read.textFile真正快捷的功能：

scala> spark.read.textFile("README.md").count
res1: Long = 104