时间戳

首页 > 解决方案 > Pyspark - 如何复制/三重行？

pyspark - Pyspark - 如何复制/三重行？

问题描述

我需要从我的数据框中“克隆”或“复制”/“三重复制”每一行。

我没有找到任何关于它的东西，我只知道我需要使用爆炸。

例子：

ID - Name
1     John
2     Maria
3     Charles

输出：

ID - Name
1     John
1     John
2     Maria
2     Maria
3     Charles
3     Charles

谢谢

标签： pysparkrowexplode

解决方案

你可以使用array_repeatwith explode。(Spark2.4+)

对于duplicate：

from pyspark.sql import functions as F
df.withColumn("Name", F.explode(F.array_repeat("Name",2)))

对于triplicate：

df.withColumn("Name", F.explode(F.array_repeat("Name",3)))

For <spark2.4:

#duplicate
df.withColumn("Name", F.explode(F.array(*[['Name']*2])))

#triplicate
df.withColumn("Name", F.explode(F.array(*[['Name']*3])))

UPDATE:

为了使用另一列Support，replicate a certain number of times for each row您可以使用它。(Spark2.4+)

df.show()

#+---+-------+-------+
#| ID|   Name|Support|
#+---+-------+-------+
#|  1|   John|      2|
#|  2|  Maria|      4|
#|  3|Charles|      6|
#+---+-------+-------+

from pyspark.sql import functions as F
df.withColumn("Name", F.explode(F.expr("""array_repeat(Name,int(Support))"""))).show()

#+---+-------+-------+
#| ID|   Name|Support|
#+---+-------+-------+
#|  1|   John|      2|
#|  1|   John|      2|
#|  2|  Maria|      4|
#|  2|  Maria|      4|
#|  2|  Maria|      4|
#|  2|  Maria|      4|
#|  3|Charles|      6|
#|  3|Charles|      6|
#|  3|Charles|      6|
#|  3|Charles|      6|
#|  3|Charles|      6|
#|  3|Charles|      6|
#+---+-------+-------+

对于spark1.5+, 使用repeat, concat, substring, split & explode.

from pyspark.sql import functions as F
df.withColumn("Name", F.expr("""repeat(concat(Name,','),Support)"""))\
  .withColumn("Name", F.explode(F.expr("""split(substring(Name,1,length(Name)-1),',')"""))).show()

推荐阅读