python - 如何在 databricks DRE 7.6 及更高版本上使用 python3/python2 mypthon3.zip 编译的 zip 执行 spark 提交作业？

Question

我正在尝试在 Databricks DRE 7.6 及更高版本上使用 python3 和 python2 编译 mypthon3.zip 执行 spark 提交作业，并得到以下错误

Traceback (most recent call last):
  File "/dbfs/tmp/WT_SPARK3/Inputsql.py", line 1, in <module>
    from com.test.mymodule import Mymodule
zipimport.ZipImportError: can't find module 'com'

mypython3.zip：使用 python3 编译并包含 pyc 文件和 pycache 文件夹

编译命令：python3 -m compileall -b package_dir

mypython3.zip
  |- com
      |- __pycache__ (empty folder)
      |- __init__.pyc
      |- test
           |- __pycache__ (empty folder)
           |- __init__.pyc
           |- mymodule.pyc

输入sql.py

from com.test.mymodule import Mymodule
import sys
import time
import logging

火花提交命令

["--py-files","/dbfs/tmp/mypthon3.zip","/dbfs/tmp/Inputsql.py"]

请让我知道如何解决它

谢谢

标签： pythonapache-sparkpysparkdatabricksspark-submit