amazon-emr - 从 Airflow（使用气流 Livy 运算符）向 Livy（在 EMR 中）提交 Spark 作业

Question

我正在尝试使用气流livy operator在 EMR 中安排工作。这是我遵循的示例代码。这里的问题是……没有指定 Livy 连接字符串（主机名和端口）。如何为操作员提供 Livy Server 主机名和端口？

此外，该运算符具有参数livy_conn_id，在示例中设置为 的值livy_conn_default。这是正确的值吗？...还是我设置了其他值？

标签： amazon-emrairflowlivy

Answer 1

您应该livy_conn_default在 Airflow 仪表板的“管理”选项卡中拥有连接，如果设置正确，那么是的，您可以使用它。否则，您可以更改它或创建另一个连接 ID 并在livy_conn_id