apache-spark - 使用结构化流处理每个批次的记录

Question

在旧版 Spark Streaming 中，有一个指标，您可以查看该特定批次正在处理多少条记录。有没有办法在火花结构化流（3.xx）指标中显示类似的东西？

标签： apache-sparkspark-structured-streaming

Answer 1

是的，结构化流选项卡显示了这一点。

请参阅https://databricks.com/blog/2020/07/29/a-look-at-the-new-structured-streaming-ui-in-apache-spark-3-0.html