首页 > 解决方案 > 是否可以从 Spark 用户定义的聚合函数 (UDAF) 返回多行?

问题描述

是否可以从 Spark UDAF 返回多行,就像 flatMapGroups 允许您在对数据集执行 groupByKey 后返回多行一样?高性能 Spark 提到 UDAF 是比 mapGroups 更高效的替代品,所以我想知道是否有比 flatMapGroups 更高效的替代品

我知道这可以返回一个列表然后将其分解,但我想知道是否有更好的方法。

标签: apache-sparkapache-spark-sql

解决方案


推荐阅读