首页 > 解决方案 > 尝试使用 apache spark 加载模块时出现 Databricks 错误

问题描述

我在 Databricks 中使用笔记本。如果有帮助,则使用 python 3 设置笔记本。一切正常,我可以从 Azure 存储中提取数据。但是,当我运行时:

import org.apache.spark.sql.types.StructType

我收到错误消息

ImportError: No module named 'org'

有谁知道我将如何解决这个问题?这与笔记本在 python 中有关吗?

我今天才刚刚开始使用 Databricks,如果这是一个愚蠢的问题,我深表歉意——我在网上找不到任何有帮助的东西。

我确实尝试过跑步import org.py.spark.sql.types.StructType,但也没有用。

谢谢

标签: pythonazureapache-sparkdatabricks

解决方案


问题是您试图在 Python 笔记本中导入 scala 库。您需要更改为使用 Scala 笔记本,或使用 Pyspark 等价物。

像:

from pyspark.sql.types import *

推荐阅读