python - 如何从 pyspark 中的模块导入函数

Question

我使用 spark-submit cmd 运行 pyspark 脚本。我有一个包含所有实用程序的模块。我需要能够从此模块导入函数，但我收到“模块未找到错误”。我已经压缩了我的模块并在 spark 提交中使用 --archive 上传了它。我尝试使用 zipimport 从 zip 中提取模块，但我仍然无法读取模块。如何将模块中的函数加载到我的 pyspark 脚本中？

importer = zipimport.zipimporter("module.zip")
mod = importer.load_module("model")

如何从“mod”对象访问函数？zipimport 的任何替代品也将受到高度赞赏

标签： pythonpysparkzip