apache-spark - Kuberenetes 数据本地化上的 Spark 和 HDFS
问题描述
我正在尝试在 K8 上运行 Spark，并在数据局部性方面遇到了一些困难。我正在使用本机 spark 支持，但只是观看了https://databricks.com/session/hdfs-on-kubernetes-lessons-learned。我已经按照那里的步骤设置了我的 HDFS 集群（第一个 k8 节点上的名称节点，使用主机网络）。我想知道是否有人知道所提供的火花驱动程序的修复是否已合并到主线火花代码中？
我问，因为我仍然在我期望 NODE_LOCAL 的地方看到任何地方。
解决方案
推荐阅读
- windows - 在 Visual Studio 中运行特定的 Skia 子模块测试
- mathjax - Mathjax - 从本地安装中排除一些文件和文件夹
- android - Firebase 中 iOS 和 Android 应用的包名称相同
- python - 优化逻辑回归的对数似然的负对数似然：scipy
- javascript - PokeAPI: Uncaught TypeError: (intermediate value) is not a function
- c - 32位或64位系统中的指针运算长短
- pycharm - 为什么 PyCharm 不显示变量拼写错误？
- python - Pandas：使用 isin() 检查其他数据框中是否存在数据框观察结果
- android - 在 onPrepareOptionsMenu 之外设置 Android 菜单项的可见性
- r - 如何为我的数据框中的更多列复制以下 facetwrap ggplot 图像？