apache-spark - 仅基于 azure databricks 中的前 1000 行显示样本

Question

dfResult = spark.readStream.format("delta").load(PATH)
dfResult.createOrReplaceTempView("Stream")

尝试从我将所有数据放入其中的增量表中读取流数据并通过执行以下操作将它们可视化：

%sql
SELECT Time, score
From Stream 

但是，图形或表格中仅显示前 1000 行。

有没有办法查看最后 1000 行或显示整个数据而不是前 1,000 行？

标签： apache-sparkpysparkazure-databricks

Answer 1

尝试按日期订购

display(dfResult.orderBy("Time", ascending=False).limit(1000))