python - 如何在 Pyspark 中将 Pair RDD Tuple 键转换为字符串键？

Question

我创建了如下的rdd

rdd=sc.parallelize([('AA', 44),('BB', 53),(('AA', 'Bb'), 23), (('AD', 'AC'), 23),(('AA', 'BB', 'CC'), 2)])

我想将元组键转换为字符串。

我的预期输出如下所示new_rdd.collect()：

[('AA', 44),('BB', 53),('AA,Bb', 23),('AD,AC', 23),('AA,BB,CC',2)]

标签： pythonapache-sparkpysparkrdd

Answer 1

map在rdd, 并检查每个元组中的键类型，如果键是字符串，则保留键，否则通过 连接键','：

rdd.map(lambda t: (t[0] if isinstance(t[0], str) else ','.join(t[0]), t[1])).collect()
# [('AA', 44), ('BB', 53), ('AA,Bb', 23), ('AD,AC', 23), ('AA,BB,CC', 2)]