sql - 在水印之后立即使用 flatMap 时，Spark DF 会丢失水印

Question

使用

df
  .watermark(...)
  .flatMap(row => Iterator(f(row)))

将“丢失”水印，这意味着它将报告：

... is not supported with append output mode on a streaming dataframe/dataset.

是否有可能flatMap在某种程度上不会创建一个单独的聚合组？我可以看到 Spark 是在后台实现flatMap的mapPartitions。

标签： sqlapache-spark