apache-spark-sql - 使用 spark.sql() 在 Azure Databricks 笔记本中生成不稳定的数据

Question

我正在用 azure databricks 创建一个笔记本，在这里我发现了一种不自然且不稳定的数据行为，该行为是从 spark.sql() 执行的查询返回的

例如，我有一个带有单整数（非空）列的 DataFrame。因此，我还使用createOrReplaceTempView()从同一个 DataFrame 创建了一个临时视图

现在，当我使用 spark.sql 查询where条件时，它返回了一个整数的数据，而不是另一个整数的数据。作为 Cmd 15，除了第 5 行查询之外，其他所有查询都给了我正确的结果。

不太可能，下面是第 5 行的结果

我们也尝试过使用 DataFrame 的过滤器，where 等。但没有运气。

标签： apache-spark-sqldatabricksazure-databricks