apache-spark - 有没有办法获取当前 Spark Session 的 SparkSession Id?
问题描述
我有一个由 spark-shell 创建的 Spark 会话和另一个由我的代码创建的 spark 会话。(通过传递给 spark-shell 的 jar 导入)
有没有办法比较两个 Spark 会话的会话 ID?
我知道我们可以通过 spark.SparkContext.applicationId 获取 applicationId。
sessionid 和 applicationId 一样吗?我认为 applicationId 与火花作业相关联。(作业的唯一标识符)
有什么方法可以获取 Spark Session id?
解决方案
你可以试试这个。我找不到任何获取 sparksession id 的方法,但你可以比较 spark session 你可以参考这个
https://www.waitingforcode.com/apache-spark-sql/multiple-sparksession-one-sparkcontext/read
推荐阅读
- ansible - 我可以在ansible的jinja2模板中运行shell命令吗
- c# - 设置字典的属性?
- python-imaging-library - heroku上的python图像库PIL不起作用
- vue.js - 在 Jest 中模拟 axios 返回 axios 未定义
- java - SimpleDateFormat 给出错误的格式输出
- swift - 如何在collectionViewCell中使用动态大小的scrollView
- python - 如何在特定目录中的所有测试之前运行一次 pytest 夹具?
- operating-system - DMA 对小数据包有效吗?
- django - Django 查询集返回空“[]”
- php - 如何在php中修复特征方法冲突和重命名方法