azure - 当 blob 更改时触发 Azure 数据块

Question

我正在使用 Azure databricks 中的 spark 解析来自 Azure blob 存储的文件。该 blob 安装为 dbfs。现在我正在笔记本中使用硬编码的文件名（dbfs 文件名）。但我想在创建新 blob 时使用新的 dbfs 名称触发笔记本。我使用 Azure 函数进行了检查，我可以得到一个 blob 触发器。我可以从 Azure 函数启动数据块笔记本/作业吗？对 blob 的操作需要相当长的时间。在这种情况下是否建议使用 azure 函数。或者有没有其他方法可以实现这一点。

标签： azureazure-functionsdatabricksazure-databricks

Answer 1

正如 Parth Deb 所说，使用 azure datafactory 将更容易满足您的要求。

您只需要创建管道的触发器，然后基于“创建的 blob”创建事件触发器即可触发数据块活动。你只需要传递参数。

这是工厂的内置功能，您可以查看文档：

https://docs.microsoft.com/en-us/azure/data-factory/concepts-pipelines-activities

https://docs.microsoft.com/en-us/azure/data-factory/transform-data-databricks-notebook

https://docs.microsoft.com/en-us/azure/data-factory/how-to-expression-language-functions

你可以看看上面的文档。最后，你基本上只需要一些鼠标操作。