azure - Azure Synapse：上传 Spark 作业参考文件中的 py 文件目录

Question

我正在尝试传递在 Azure Synapse Spark 作业定义中的主 python 文件中引用的 python 文件的整个目录，但这些文件没有出现在该位置，并且我得到 Module Not Found 错误。尝试像这样上传：

abfss://[数据湖中的目录路径]/*

标签： azureazure-synapse

Answer 1

在 Synapse 上实现此目的的方法是将您的 python 文件打包到一个 wheel 包中，并将 wheel 包上传到 Azure Data Lake Storage 的特定位置，您的 Spark 池将在每次启动时从该位置加载它们。这将使自定义 python 包可用于使用该火花池的所有作业和笔记本。

您可以在官方文档中找到更多详细信息：https ://docs.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-manage-python-packages#install-wheel-files