时间戳

首页 > 解决方案 > Databricks - 在 Python 中创建函数 (UDF)

python - Databricks - 在 Python 中创建函数 (UDF)

问题描述

如何创建一个像https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-function.html#create-function但在 python 中定义函数的函数？

我已经做了类似的事情：

from pyspark.sql.types import IntegerType
def relative_month(input_date):
  if input_date is not None:
    return ((input_date.month + 2) % 6)+1
  else:
    return None
_ = spark.udf.register("relative_month", relative_month, IntegerType())

但是这个 UDF 只适用于运行这段代码的笔记本。

我想使用 SQL 语法来注册函数，因为我将有一些用户通过 SQL 客户端使用数据块，他们也需要这些函数。

在 Databricks 文档中说我可以定义一个资源：

: (JAR|FILE|ARCHIVE) file_uri

我需要创建一个 .py 文件并将其放在我的数据块集群中的某个位置吗？

标签： pythonapache-sparkdatabricks

解决方案

要共享笔记本，请在集群配置中将 spark.databricks.session.share 设置为 true。通常 UDF 在 spark 中是特定于应用程序的并且是临时的，因此如果必须在其他应用程序中使用它，他们必须再次注册它才能使用它。但正如我所说，如果您将 spark.databricks.session.share 设置为 true ，您可以在多个笔记本上共享它。

如果是针对 HIVE，那么您可以永久注册 UDF，并且可以跨多个用户访问

这是相同的类似线程。看看它是否有帮助。

Databricks - 创建永久用户定义函数 (UDF)

推荐阅读