scala - 如何在 spark scala 中获得 groupby 的输出如下

Question

运行 groupby 后，我得到的结果为

+--------------------+-----+
|                City|count|
+--------------------+-----+
|               Tyler|    2|
|           Fairbanks|    1|
|         Springfield|   12|
|          Charleston|    7|
|              Corona|    2|

我想要与下面相同的结果

Tyler : 2
Fairbanks : 1
Springfield : 12

我必须在 scala spark.. 不是 pysaprk

标签： scalaapache-spark

Answer 1

这个问题有点不清楚。请添加更多数据，例如您如何打印第一个输出（输入代码会有所帮助）。休息一下，根据输出，我认为您只是从 RDD 中获取一些值并使用默认 println 在控制台上打印。如果是这种情况，请尝试根据您的输出要求映射数据，然后在其上使用 .mkstring("\n")。所以伪代码看起来像

collectedResult.map(x=>s"${x._1} : ${x._2}").mkString("\n")

注意：这只是一个示例，可能不会像在编辑器中那样运行。此外，如果结果的大小太大，则根本不推荐这种方法。