首页 > 解决方案 > spark流将数据写入spark-sql,但无法查询

问题描述

我已经提交了一个流应用程序,并将 DataFram 写入 spark-sql。

df.show(5)
df.write.mode(SaveMode.Append).saveAsTable(s"industy.test1")

当我向 kafka 发送一些消息时,日志文件中打印了 df.show(5) 行,这意味着我已经成功使用了数据,但是当我使用 zeppelin 和 spark-sql 交互式命令行查询行业时。 test1,我没有消耗任何数据。并且日志文件没有任何错误,但是当我重新打开 spark-sql 交互式命令行来查询表时,我得到了数据。所以我想知道为什么我需要重新打开它。谢谢你的帮助。

标签: apache-sparkapache-spark-sql

解决方案


推荐阅读