pyspark - 如何在 PySpark 中读取检查点数据帧

Question

如果我检查点如下所示的 DataFrame。我怎样才能读回来？

df1 = spark.createDataFrame([('Abraham','Lincoln')], ['first_name', 'last_name'])
df1.checkpoint()

就像是....

reload = spark.read.something('checkpoints/87b411a8-19e3-402a-86a7-cfac0a4a6d14/rdd-40/*')

我看到写入检查点文件夹的检查点文件已分区，但无法分辨文件类型是什么。

标签： pysparkcheckpoint