apache-spark - 如何在 PySpark 应用程序中设置纱线应用程序 ID
问题描述
我正在尝试找到一种方法来为通过 YARN 在 EMR 上提交的 pyspark 应用程序创建自定义应用程序 ID。通常 YARN 应用程序 ID 采用这种格式application_1632776696096_0006
有没有办法以某种方式修改它们以添加前缀或使它们完全自定义？
感谢您的回复！提前致谢
解决方案
ApplicationId是yarn内部生成的唯一标识，除了修改源码没有办法自定义。可以通过指定appname来达到区分app的目的。例如：
spark-submit --name
推荐阅读
- cassandra - Suddenly high write latency for one table in metrics
- python - rabbitpy 中的 Mandatory 参数是什么意思，它是如何工作的？
- google-analytics - Power BI/Google Analytics 连接器 API 错误
- xaml - 与调整大小的 ImageButton（使用 AspectFit）一起使用时的 Xamarin 网格大小问题
- seaborn - 直方图未显示在配对图中
- azure - 获取 Cosmos DB 集合中每个逻辑分区的大小
- java - 如何将弹簧控制器中的对象列表绑定到百里香
- swift - LSP 和 SwiftUI
- python - 序列项 0：预期的 str 实例，找到 int
- docker - 什么时候应该使用 Docker，什么时候应该使用虚拟机？