pyspark - Pyspark - 如何将多个数据帧的列连接成一个数据帧的列

Question

我有一列有多个数据框（总共 24 个）。我需要将所有这些组合到一个数据框中。我创建了索引并使用索引加入了索引，但是加入所有索引的速度很慢（所有索引的行数都相同）。

请注意，我使用的是 Pyspark 2.1

w = Window().orderBy(lit('A'))
df1 = df1.withColumn('Index',row_number().over(w))
df2 = df2.withColumn('Index',row_number().over(w))
joined_df = df1.join(df2,df1.Index=df2.Index,'Inner').drop(df2.Index)
df3 = df3.withColumn('Index',row_number().over(w))
joined_df = joined_df.join(df3,joined_df.Index=df3.Index).drop(df3.Index)

但是随着joined_df的增长，它变得越来越慢

DF1：

Col1
 2
 8
 18
 12

DF2：

Col2
 abc
 bcd
 def
 bbc

DF3：

Col3
 1.0
 2.2
 12.1
 1.9

预期成绩：

加入_df：

Col1  Col2  Col3
 2     abc   1.0
 8     bcd   2.2
 18    def   12.1
 12    bbc   1.9

标签： pyspark

Answer 1

您正在以正确的方式进行操作。不幸的是，没有主键，spark 不适合这种类型的操作。

---

由pault回答，从评论中提取。