apache-spark - KubernetesPodOperator 未按预期发送参数
问题描述
我让气流运行 KubernetesPodOperator 以进行 Spark-submit 调用:
spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}'
j2g = KubernetesPodOperator(
dag=dag,
task_id='myApp',
name='myApp',
namespace='data',
image=spark_image,
cmds=['/opt/spark/bin/spark-submit'],
configmaps=["data"],
arguments=[
'--master k8s://https://10.96.0.1:443',
'--deploy-mode cluster',
'--name myApp',
f'--conf spark.kubernetes.container.image={spark_image}',
'local:///app/run.py'
],
但是,我收到以下错误:
Error: Unrecognized option: --master k8s://https://10.96.0.1:443
这很奇怪,因为当我 bin/bash 到一个正在运行的 pod 并执行 spark-submit 命令时,它可以工作。
知道如何按预期传递参数吗?
解决方案
来自 GitHub 票证的解决方案:参数应发送如下:
'--master=k8s://https://10.96.0.1:443',
推荐阅读
- java - PDFBox:COSStream 已关闭,无法读取。将 PDF 文件添加到 PDF。并回顾
- linux - Linux执行带参数的php文件
- javascript - 当我尝试单击按钮时出现未捕获的 DOMException 问题
- javascript - 如何在尝试使用 innerHTML 时修复按钮禁用问题?
- c++ - 如何在 vs code c++ 中添加静态库?
- matlab - 导入某些值的数据时,Matlab“失去”“幂”值
- javascript - 让机器人对其上方的消息做出反应
- angular - 如何处理 tiff 图像,以便可以在 chrome 中显示角度?
- ios - 为未知枚举返回相同的原始值
- python - 混合日期时间格式需要是一种格式