apache-spark - 将 Spark SQL 数据帧转换为结构化流数据帧

Question

我想将 Java Spark SQL DataFrames 转换为 Structured Streaming DataFrames，这样每个批次都将合并到 Structured Streaming DataFrames。因此，我可以在从批处理源获得的 DataFrame 上使用 Spark 结构化流式处理功能（例如连续作业）。

标签： apache-sparkapache-spark-sqlspark-structured-streaming

Answer 1

与Java无关，标题有点偏离。

如您所述，不支持标准操作。

查看文档中的foreachBatch实现。请参阅https://spark.apache.org/docs/3.1.2/structured-streaming-programming-guide.html#foreachbatch 并在其中读取静态 DF 并执行 UNION。