azure - 返回 Databricks 中已保存文件的名称

Question

我在 Databricks 中有一个笔记本，可以进行一些转换并将 parquet 文件写入 Azure Data Lake Storage。在笔记本的末尾，我希望能够有一个退出参数，其中包含笔记本刚刚保存的镶木地板文件的名称。我想稍后在 Azure 数据工厂中使用此参数。

一般来说，我希望在 Azure DataFactory 中有一个复制活动，它将刚刚保存的 parquet 文件移动到数据库表中。问题是每次运行笔记本时，parquet 文件的名称都会更改。让我知道是否有更好的解决方案来解决这个问题。

谢谢！

标签： azurepysparkazure-data-factoryazure-databricksazure-data-factory-pipeline

Answer 1

下面的代码会将文件名发送回 ADF。

dbutils.notebook.exit（文件名）