apache-spark - 火花结构化流式镶木地板覆盖

Question

我希望能够用镶木地板格式覆盖我的输出路径，但它不在可用操作中（追加、完成、更新），这里还有其他解决方案吗？

val streamDF = sparkSession.readStream.schema(schema).option("header","true").parquet(rawData)

val query = streamDF.writeStream.outputMode("overwrite").format("parquet").option("checkpointLocation",checkpoint).start(target)
query.awaitTermination()

标签： apache-sparkspark-streamingparquetspark-structured-streaming

Answer 1

Apache Spark 仅Append支持File Sink. 在这里查看

file system在写入数据之前，您需要编写代码来删除路径/文件夹/文件。

查看此 stackoverflow 链接以获取ForeachWriter. 这将帮助您实现您的案例。