时间戳

首页 > 解决方案 > CombineByKey 适用于 pyspark python 2 但不适用于 python 3

python - CombineByKey 适用于 pyspark python 2 但不适用于 python 3

问题描述

以下适用于使用 python2 的 pyspark：

data = [
    ('A', 2.), ('A', 4.), ('A', 9.), 
    ('B', 10.), ('B', 20.), 
    ('Z', 3.), ('Z', 5.), ('Z', 8.), ('Z', 12.) 
      ]

rdd = sc.parallelize( data )

sumCount = rdd.combineByKey(lambda value: (value, 1),
                        lambda x, value: (x[0] + value, x[1] + 1),
                        lambda x, y: (x[0] + y[0], x[1] + y[1])
                           )

averageByKey = sumCount.map(lambda (key, (totalSum, count)): (key, totalSum / count))
averageByKey.collectAsMap()

该行：

averageByKey = sumCount.map(lambda (key, (totalSum, count)): (key, totalSum / count))

在 python3 下返回：

SyntaxError: invalid syntax
  File "<command-2372155099811162>", line 14
    averageByKey = sumCount.map(lambda (key, (totalSum, count)): (key, totalSum / count))

找不到什么 python3 更改导致这个和替代。

标签： pythonpython-3.xpyspark

解决方案

pyspark 中使用 python3 的以下代码有效：

data         = sc.parallelize( [(0, 2.), (0, 4.), (1, 0.), (1, 10.), (1, 20.)] )

sumCount     = data.combineByKey(lambda value: (value, 1),
                                 lambda x, value: (x[0] + value, x[1] + 1),
                                 lambda x, y: (x[0] + y[0], x[1] + y[1]))

averageByKey = sumCount.map(lambda label_value_sum_count: (label_value_sum_count[0], label_value_sum_count[1][0] / label_value_sum_count[1][1]))

print(averageByKey.collectAsMap())

正确返回：

{0: 3.0, 1: 10.0}

python2 和 python3 有一些差异，SO 上的很多东西都是 python2。

推荐阅读