python - 在 pyspark 结构化流中获取重叠的日期范围

Question

我看到很多针对小型数据帧的答案，但没有针对 Spark 结构化流的答案。

我尝试在此答案中执行以下操作https://stackoverflow.com/a/68466662/2702630 但是在使用结构化流时它不起作用：

pyspark.sql.utils.AnalysisException: Multiple streaming aggregations are not supported with streaming DataFrames/Datasets;

有人知道如何进行吗？

标签： pythonapache-sparkpysparkapache-spark-sqlspark-streaming