airflow - 将参数传递给 SSHSparkSubmitOperator Operator
问题描述
假设有一个文件将具有 spark 配置参数，例如执行器数、执行器内存。在气流工作流中，第一个任务将读取文件获取上述参数并传递给 executor_memory=<some_variable>, num_executors=<some_variable> 中的 SSHSparkSubmitOperator 运算符
有没有办法我们可以做到这一点？
解决方案
推荐阅读
- java - toString method in Java benefits
- javascript - call php function inside jquery
- android - 在 Android 的 Room 库中重置自动增量
- javascript - 提交表单后显示消息框（警报）
- vue.js - 路由器处于历史模式时不加载 PWA（基于 Vue CLI 3 的项目）
- python - cx_Freeze 无法安装（linux）：致命错误：Python.h：没有这样的文件或目录
- haskell - 表达无限种
- laravel - 使用 laravel 护照制作令牌并使用 axios 发送请求
- android - Xamarin 和 Android - 退出方法时崩溃
- java - 阵列适配器崩溃