apache-spark - spark 2.2 无法处理聚合表达式中的映射列

Question

我怎样才能GROUP BY或使用 DISTINCT带有地图的复杂类型列？：

case class Foo(id:Int, stuff:Map[String, Int])
  val xx = Seq(Foo(1, Map("first" -> 1, "second"->2)), Foo(1, Map("first" -> 1, "second"->2)), Foo(3, Map("fourth" -> 4, "fifth"->5))).toDF
  xx.distinct.show
  xx.groupBy("id", "stuff").count.show

错误是

expression `stuff` cannot be used as a grouping expression because its data type map<string,int> is not an orderable data type

它似乎与https://mapr.com/support/s/article/Spark-SQL-queries-on-Map-column-fails-with-exception-Cannot-have-map-type-columns-in-有关数据框？

也许在 spark 2.4 中修复？

但是，我目前仅限于 2.2。2.2有解决方案吗？

可以改为将其转换为json吗？我需要一个结构，每条记录具有不同的字段（spark 为每个组动态创建 struct/json）。

编辑

• 手动序列化为 JSON 是一种解决方法（但相当笨拙）
• 除了使用地图类型列，我还可以使用自定义案例类数组，即Seq[Foo]; case class Foo(column:String, column_value:String, value:String). 这允许DISTINCT工作，但格式对于任何第 3 方来说似乎都相当不直观

标签： apache-sparkdictionaryapache-spark-sqldistinct