databricks - 无法使用 DataBricks 熔断器安装路径从 DBFS 访问文件
问题描述
我不明白我哪里错了。尽管dbutils.fs.head('/FileStore/tables/flights_small.csv')
给了我正确的结果。
解决方案
您正在使用 DataBricks Community Edition,因为DBR >= 7.0 的怪癖,您无法从您的路径中读取。
我通常只有一个类似下面新命令的命令来解决这个问题,并以编程方式将 te 文件带到可访问的临时文件夹:
%fs cp /FileStore/tables/flights_small.csv file:/tmp/flights_small.csv
然后简单地阅读它:
pd.read_csv('file:/tmp/flights_small.csv')
考虑到社区版中的此类怪癖(集群启动时间长),我通常使用Google Colab在浏览器笔记本中进行业余爱好。
您也可以在 Google Colab 上运行 pyspark
!pip install pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder\
.master("local")\
.appName("Colab")\
.config('spark.ui.port', '4050')\
.getOrCreate()
推荐阅读
- java - 使@JsonAnySetter 与@Value Lombok 一起工作
- asp.net-core - 带有 Razor 页面、api 控制器和 IdentityServer4 的 ASP.NET Core 3.1
- r - 避免 plotmo 截断绘图轴上的预测变量标签
- vb6 - vb6 使用 API 抑制键盘敲击?(制作热键)
- javascript - 如何一次向所有 wp 帖子添加功能
- python-3.x - 为什么 pyglet.app.run() 重复调度 on_resize() 导致最大递归深度错误?
- sql - 雪花中的日期转换为 12 小时
- json - 从 http 响应中解析复杂的 json
- python-3.x - OpenCV matchTemplate 多次找到相同的 shapen - Python
- python - 如何在 Django 上查看已经创建的 mysql 数据库中的数据?