首页 > 解决方案 > 如何知道我的 spark 流式查询没有任何新的 kafka 记录可供使用?

问题描述

我正在启动一个 spark 结构化流式查询,如下所示:

val strquery = tempDataFrame2.writeStream.outputMode("append").queryName("table").format("console").start()

但我不知道在此语句中使用哪些其他参数,以便 spark 知道没有要消耗的 kafka 记录并立即停止流式传输?

标签: apache-sparkapache-kafka

解决方案


推荐阅读