scala - Scala 在结果中重复排序

Question

我有一个包含“客户”、“花费金额”的 RDD。我正在尝试按“Amt Spent”进行简单的排序。当我查看结果时，我看到多个排序发生。

• 我的代码：

  val sc = new SparkContext("local[*]", "TotalSpentByCustomerSorted")   
  
  val input = sc.textFile("filename.csv")
  
  val input2 = input.map(line=>line.split(",")).map(
    line=>(line(0).toInt,line(2).toFloat)
  ) // To fetch only customer#, Amt spent
  
  val input3 = input2.reduceByKey((x,y)=>(x+y)).sortBy(x=>x._2)
  
  input3.foreach(println)
  

• 结果：

  (28,5000.7104)
  (22,5019.449)
  (29,5032.5303)
  (17,5032.6797)
  (60,5040.7095)
  (45,3309.3804)
  (79,3790.5698)
  (96,3924.23)
  (23,4042.65)
  (99,4172.29)
  

从结果中可以看出，前 5 个条目按 Amt 花费排序，然后再次发生排序。这里可能是什么问题？

标签： scalaapache-spark

Answer 1

问题不在于 sorted 确实有效，而是您在RDDprintln()上调用了inside a - 该操作是在所有分区上并行执行的。 而且，在真正的集群上（不是在本地开发环境中），您甚至不会看到打印的行，因为这些会发生在执行程序的JVMs上。foreach

RDD已排序，但如果您不想相信我（那会很聪明），那么您可以collect在它们的顺序）。foreach