apache-spark - Databricks：检测到不兼容的格式（临时视图）

Question

我正在尝试从许多镶木地板文件创建一个临时视图，但到目前为止它不起作用。作为第一步，我试图通过从路径中读取镶木地板来创建数据框。我想将所有 parquet 文件加载到 df 中，但到目前为止，我什至无法加载单个文件，如下面的屏幕截图所示。有谁可以帮我离开这里吗？感谢信息：batch_source_path 是“路径”列第 1 行中的字符串

标签： apache-sparkpysparkapache-spark-sqldatabricksparquet

Answer 1

您的数据采用Delta格式，这是您必须阅读的方式：

data = spark.read.load('your_path_here', format='delta')