apache-spark - 用于元数据和块位置的 Spark 内存缓存
问题描述
为了 Spark 低延迟作业，Spark Job Server 提供了Persistent Context 选项。但我不确定，持久上下文是否包含元数据、块位置和查询计划所需的任何其他信息？. 默认情况下，Spark 应从 Hive Metastore（磁盘 IO/网络）读取此信息。
Spark 是否有任何选项可以将查询计划所需的所有信息保留在内存中？
解决方案
推荐阅读
- c++ - 调用类构造函数时出现分段错误
- python - 如何更正不允许我输入变量的 python 函数？
- javascript - TypeError: jquery__WEBPACK_IMPORTED_MODULE_4___default(...)(...).modal 不是函数
- apache-spark - Kerberos：Spark UGI 凭据没有传递给 Hive
- c - 在 pthread 中使用结构时出现分段错误
- vue.js - 在 src 文件夹之外构建时出现 Vue js 问题
- javascript - 两个对象数组合并到另一个数组对象中
- php - 上一篇文章 ID 未使用此代码显示
- java - 为什么 Reactor 的 Mono.fromCompletionStage 比普通的 CompletableFuture 慢？
- ios - 如何在后台线程中访问 UIApplication 对象？