时间戳

首页 > 解决方案 > pyspark中基于rdd的操作中键值的最大值

python-3.x - pyspark中基于rdd的操作中键值的最大值

问题描述

我是基于 rdd 的操作的新手。我试图了解键值的最大值。我有一个这样的rdd：

RDD = sc.parallelize([("A", 2, 1), ("C", 8, 5), ("B", 3, 4), ("A", 7, 5), ("C", 5, 8), ("C", 6, 10), ("B", 10, 6)])

我必须根据键找到第二个元素的最大值。我想看到这样的输出；

("A", 7, 5)
("B", 10, 6)
("C", 6, 10)

我试过了newrdd = RDD.reduceByKey(lambda x: max(x[2]))。它输出一些错误。

标签： python-3.xpysparkbigdatardd

解决方案

无论如何，如果有人需要，我首先得到了配对的 rdd。

pairedrdd = RDD.map(lambda x: (x[0], x[2]))

然后newrdd = pairedrdd.reduceByKey(lambda x, y: max(x,y))

lis = newrdd.collect()

for i in lis:
    print(i)

推荐阅读