apache-spark - 运行 spark 应用程序不显示在 spark 历史服务器上

我正在创建一个长时间运行的 spark 应用程序。创建火花会话并开始运行应用程序后，单击火花历史服务器上的“显示不完整的应用程序”后，我无法看到它。但是，如果我强制关闭我的应用程序，我可以在“已完成的应用程序”页面下看到它。

我在客户端和服务器上都正确配置了 spark 参数，如下所示： spark.eventLog.enabled=true

spark.eventLog.dir=hdfs://10.18.51.117:8020/history/ （我的 spark 历史服务器上的 hdfs 路径）

我也在服务器端配置了相同的。所以配置不应该是一个问题（因为完成的应用程序也可以在我强制我的应用程序停止后出现）。

你们对这种行为有什么想法吗？

我查看了 spark 历史服务器上的 hdfs 文件，我看到一个与我正在运行的应用程序相关联的非常小的 .inprogress 文件（接近空，见下图）。似乎只有在应用程序停止时才会将结果刷新到文件中，这对于我长时间运行的应用程序来说并不理想......我们可以调整任何方法或参数来强制刷新日志吗？

标签： apache-sparkhadoop