apache-spark - 在 RDD 中查找值的总和

Question

我有一个示例文件，其中有数字，用空格分隔。我需要找到这些数字的总和。

这是它看起来像的文件：

10 20 30 40 50 60 70
1 2 3 4 5 6 7 8 9 10
10 20 30 40 50 60 70

我尝试使用包含数字的文本文件加载文件，然后我应用 flatmap 将数字按空格分割，然后我无法找到 sum 函数来对元素求和。

这是代码：

val rdd=sc.textFile(“/tmp/numbers.txt”)

val numRdd=rdd.flatMap(lines=>lines.split(“ “))

标签： apache-spark

Answer 1

您可以尝试将平面图映射到映射函数以将其转换为 Int，然后在 RDD 上使用 sum()。

val data = Seq("10 20 30 40 50 60 70 1 2 3 4 5 6 7 8 9 10 10 20 30 40 50 60 70")
val rdd:RDD[String] = sc.parallelize(data)
val dataSplit = rdd.flatMap(x => x.split(" ")).map(x => x.toInt)
val sumData = dataSplit.sum()
println("Total sum "+sumData)