apache-spark - 如何知道火花中一个阶段使用的核心数量
问题描述
如何知道火花中一个阶段使用的核心数量。我们是否应该将一个阶段中的任务数视为等于核心数。因为，每个任务都在一个单独的核心上运行。
解决方案
Spark UI 是最简单的方法。导航到 Spark UI 中的“环境”选项卡。在 YARN 中，单击应用程序 ID，然后单击跟踪 URL。它指向 Spark UI 页面
推荐阅读
- python - 将我从 API 获得的 JSON 数据转换为 Python 中更可用的数据的问题
- azure - 使用 terraform 在第三个 vm 的 nginx.conf 文件中添加 Web 服务器（vm1&vm2）私有 IP
- node.js - 网络连接错误 - 使用 expo cli 进行本机反应
- python - 当 .exe 文件带有参数时，Subprocess.Popen 返回空字符串
- r - r - 以闪亮的方式打印蜡笔输出颜色
- python - 如何在 django 中的服务器端验证后在客户端显示错误
- python - 网页抓取 - HTTP 错误 403：禁止 - Ziprecruiter
- python - JSON数组到pyspark中的Dataframe
- javascript - 在不使用任何内置数组方法的情况下重新实现/重新创建 .concat 方法
- java - 如何通过 Spark WORKER 节点从 MySQL 读取数据？