apache-spark - 使用 databricks-connect 提交 SparkApplication 时,Spark 驱动程序在哪里?
问题描述
我正在使用私有服务器使用databricks-connect在数据块上提交一些作业。主机 Spark 驱动程序在哪里?在私人服务器上,它只是将作业发送给 databricks 工作者?我可以直接在我的服务器上看到 .show() 结果,这是什么意思?我是否使用客户端模式,并且 spark 驱动程序留在私人服务器上?
谢谢
解决方案
如果您使用 Databricks Connect,则安装它的机器是 Spark 驱动程序,而 Spark 执行程序位于您的数据平面中。
推荐阅读
- html - 在移动视图中使用 CSS 向 html 表格动态添加换行符
- vue.js - 使用Vue全屏包时this.$refs.fullscreen.toggle不是函数错误
- firebase - Firestore Flutter 如何获取集合中所有文档及其数据的列表?
- python-3.x - 如何根据多个条件确定行中的值是否有效?
- java - 如何使用 selenium web 关闭基于浏览器的警报
- node.js - Node.js - 选择随机文件并读取其内容然后拆分它
- php - 谷歌表格 PHP API redirect_uri_mismatch 错误
- timer - 如何在不延迟循环的情况下延迟案例结构?
- reactjs - ReactNative:尝试调试找不到模块
- javascript - 如何使用 scrapy 触发 JS ASP.Net 下一页事件?