首页 > 解决方案 > Spark 流式传输旧的活动批次不会得到处理

问题描述

我正在集群上运行火花流应用程序。现在是这样2021/05/07 11:16:50,您可以看到最新的批次已处理:

在此处输入图像描述

但是怎么会有8小时前的活跃批次呢?:

在此处输入图像描述

为什么他们不被处理?可以看到,这些都是空批次,代码中处理空批次的逻辑是一样的,但是怎么最近的批次都处理完了,8小时前的13个批次还挂在那里呢?有任何想法吗?

标签: apache-sparkpyspark

解决方案


推荐阅读