首页 > 解决方案 > 是否可以在自定义 AggregateWindowFunction 中使用下一行的值

问题描述

我正在使用 Spark 2.4 并实现AggregateWindowFunction. 我需要看看下一行。不幸的是,我在实现时不能使用Lead表达式,updateExpressions因为Lead从 trait 继承Unevaluable并使用它会导致运行时异常。

是否可以在自定义中检查下一行的值,AggregateWindowFunction或者我必须在调用自定义之前添加一个额外的步骤AggregateWindowFunction(此步骤可用于lead从下一行获取值,以便我可以在自定义函数中使用这些值)?

标签: scalaapache-sparkwindow-functions

解决方案


推荐阅读