java - Spark - dataset.persist():如何检查数据集是否持续存在?
问题描述
如何检查数据集是否已持久化?
dataset.persist();
解决方案
1 要查看是否缓存,请尝试使用sparkSession.catalog.isCached("viewName")
.
2 要判断是否有数据缓存在磁盘中,请在 Spark Web UI 的存储选项卡中查看。
推荐阅读
- python - Check if values of a column is in another column array in a pandas dataframe
- python-3.x - Python3 - 将嵌套列表变成可读的字符串或表格
- php - 在 symfony 中集成 Gitlab 提供身份验证问题
- android - 将数据显示到自定义 listView 的问题
- vue.js - 添加路径时,作为子域的 VueJS 应用程序抛出 404
- postgresql - 在 Postgres 中高效循环 VARIADIC
- c - C语言scanf中“%d”和“%d”的区别
- slack - 在 Slack 集成 RASA 聊天机器人中添加基于按钮的问题?
- javascript - 在javascript中将十进制数转换为百分比
- python - 无法使用 pandas read_csv 解析自定义日志文件格式