pyspark - “DataFrame”对象没有属性“_jrdd_deserializer”？

Question

空 RDD 没有反序列化器，这会阻碍将不同的数据集附加到一个数据集上。我想将我的数据集附加到彼此上，类似于 pandas (df.append(new_df)) 方法。有什么解决方法吗？

df2 = spark.sparkContext.emptyRDD()
print(df2)

df2=df2.union(df_ptvb).cache()

最后一条语句导致错误。我有一个名为 df_ptvb 的有效 RDD，我想将它附加到我的空数据集上。我计划在管道上进一步锁定更多数据集。

标签： pyspark