apache-spark - Databricks Delta 表加载需要很长时间才能加载 1 个记录

Question

每当 databricks 笔记本运行时，我都会尝试将 1 条记录插入到增量表中，但这大约需要 70 秒。我将 start_time 作为变量传递。

val batchDf= Seq((1000, 40, start_time, null, null, status)).toDF("Key", "RunId", "Start_Time", "End_Time", "Duration", "In-progress")

batchDf.write.format("delta").mode("append").saveAsTable("t_audit")

知道为什么将 1 条记录加载到增量表中需要这么长时间吗？我希望这将在不到 5 秒的时间内完成。

标签： apache-sparkdatabricks

Answer 1

与我在过去 30 年中使用的任何东西相比，Databricks 的速度非常慢，但在您的情况下，它可能与自动优化有关