首页 > 解决方案 > Spark - dataset.persist():如何检查数据集是否持续存在?

问题描述

如何检查数据集是否已持久化?

dataset.persist();

标签: javaapache-spark

解决方案


1 要查看是否缓存,请尝试使用sparkSession.catalog.isCached("viewName").
2 要判断是否有数据缓存在磁盘中,请在 Spark Web UI 的存储选项卡中查看。


推荐阅读