apache-spark - 如何知道我的 spark 流式查询没有任何新的 kafka 记录可供使用?
问题描述
我正在启动一个 spark 结构化流式查询,如下所示:
val strquery = tempDataFrame2.writeStream.outputMode("append").queryName("table").format("console").start()
但我不知道在此语句中使用哪些其他参数,以便 spark 知道没有要消耗的 kafka 记录并立即停止流式传输?
解决方案
推荐阅读
- java - 字母打印直到整个单词最终以三角形的形式显示,Java
- sql - 在 hive sql 中使用条件对结果进行采样
- r - 使用 R 和 tidyverse 将长表嵌套到 JSON
- javascript - 如何从休息 API 有效且定期地刷新 bootstrap 4 表的内容?
- youtube - YouTube API V3 查找不在播放列表中的频道视频
- kubernetes - 如何使用 Kubernetes 服务发现进行端口发现?
- sql - Oracle Reyclebin 不释放空间
- javascript - 使用代理浏览器同步注入 css 文件
- java - java.lang.NoSuchMethodError: org.springframework.core.annotation.AnnotationUtils.clearCache()V
- checkbox - 更改时取消禁用 for 循环中的复选框