时间戳

首页 > 解决方案 > PySpark 错误：TypeError：无效参数，不是字符串或列

apache-spark - PySpark 错误：TypeError：无效参数，不是字符串或列

问题描述

我正在尝试从 Spark 数据框中的列中计算所有两个可能的单词对之间的相似性。我创建了一个 UDF 以及一个数据框来测试该函数，我将它们定义如下：

   #Similarity Function
def lcs_similarityy(vector):
  metric_lcs = MetricLCS()
  p = []
  for i in vector:
    for j in vector:
      p.append(1 - metric_lcs.distance(i, j))
  return  p
   
   #UDF
lcs_similarityyUDF = udf(lambda z: lcs_similarityy(z))

   #Spark Data Frame
df = spark.createDataFrame(["GERMAN", "GERMANIA", "GERMANY", "LENOVO"], "string").toDF("Name")

我期待一列 16 行，因为有 16 个可能的对。但是，一旦我测试了该功能

lcs_similarityUDF(df.select("Name"))

我收到错误：


TypeError: Invalid argument, not a string or column: DataFrame[Name: string] of type <class 'pyspark.sql.dataframe.DataFrame'>. For column literals, use 'lit', 'array', 'struct' or 'create_map' function.

我一直在尝试通过不同的方法解决这个问题，但我无法让它发挥作用，而且我对 Spark 知之甚少，这可能是什么问题。我不知道我是否在 UDF 中犯了错误或定义了数据框，对此非常感谢。

标签： apache-sparkpysparkuser-defined-functions

解决方案

按如下方式应用您的 UDF

df.select(
    lcs_similarityUDF(df.Name).alias("Name")
)

推荐阅读