pyspark - 如何克服与拣货相关的 py4j 错误

Question

谁能告诉我我在下面做错了什么？

我收到此错误并且在 Google 博士上找不到答案:(

它似乎与我的过滤线特别相关

pickle.PicklingError: Could not serialize object: Py4JError: An error occurred while calling o85.__getnewargs__. Trace:
py4j.Py4JException: Method __getnewargs__([]) does not exist

非常感谢！

def find_session_time(seconds):
    output = sessions.filter((sessions.start_time <= seconds) & (sessions.end_time >= seconds))
    output = output.select('apn')
    return 'x' 
    
myudf = udf(find_session_time, StringType())
usage = usage.withColumn('apn', myudf(usage.seconds))

这是一个使用示例：

这是一个会话示例：

我需要实现的是为每个用户，为他们的交易找到相应的密钥。

因此输出应该是：

标签： pyspark