python - 是否有类似于 awsglue 的 getResolvedOptions 的函数可以在使用 python 的 azure databricks 笔记本中工作？

Question

我正在将代码移动到天蓝色，并且想知道在 python 中将使用什么函数来完成相同的事情，但没有 awsglue：

import sys
from awsglue.utils import getResolvedOptions
args = getResolvedOptions(sys.argv, ['JOB_NAME', 'day_partition_key'])
print(args['day_partition_key'])

标签： pythondatabricksaws-glueazure-databricks

Answer 1

在 Databricks 中，如果您使用 Notebook 进行数据处理，那么您可以在创建作业时按照文档中的说明（步骤 6）将参数传递给作业，然后通过widgets访问这些参数，例如，如果您需要传递参数，然后将其声明为具有名称的小部件param1：

dbutils.widgets.text("param1", "default_value", "Description")

并使用以下方法提取值：

param1 = dbutils.widgets.get("param1")

并在创建作业时声明相同的参数。

如果您使用的是 Python 或 Jar 作业，那么您将照常从命令行接收参数。