apache-spark - 火花流：WAL 被忽略

Question

我有一个运行在纱线上的火花流应用程序，该应用程序从 jms 源消耗。我启用了检查点和 WAL 以确保零数据丢失。但是，当我突然杀死我的应用程序并重新启动它时，有时它会从 WAL 中恢复数据，但有时却没有！在所有情况下，我都可以看到 WAL 在 HDFS 上正确写入。

有人可以解释一下为什么我的 WAL 在重启时有时会被忽略吗？spark决定从WAL中恢复或不恢复的条件是什么？

谢谢。

标签： apache-sparkjmsspark-streaminghadoop-yarn