时间戳

首页 > 解决方案 > 无法读取使用分区的 spark 结构化流创建的分区配置单元表

spark-structured-streaming - 无法读取使用分区的 spark 结构化流创建的分区配置单元表

问题描述

interval2    
  .writeStream 
  .format("parquet") 
  .option("path","/user/usera/interval27e") 
  .partitionBy("year","month","day","mm") 
  .trigger(processingTime='15 seconds') 
  .option("checkpointLocation", "/user/usera/checkpoint27e") 
  .start()

我能够在 hdfs 中看到分区结构，但是当尝试读取配置单元表时得到空结果

标签： spark-structured-streaming

解决方案

请您尝试使用以下代码：

val dataWrite =  interval2    
    .writeStream
    .format("parquet")
    .partitionBy("year","month","day","mm")
    .option("checkpointLocation", "/user/usera/checkpoint27e")
    .outputMode(OutputMode.Append).trigger(Trigger.ProcessingTime("15 seconds"))
    .start("/user/usera/interval27e")

  dataWrite.processAllAvailable()

推荐阅读