首页 > 解决方案 > 在 PySpark 的进程中从 localCheckpoint 中删除

问题描述

我在 PySpark (2.4.0) 中使用 localCheckpoint 功能,并努力寻找解决方案如何过程中从 localCheckpoint 删除/覆盖 rdd。

有什么线索吗?这甚至可能吗?

提前致谢

标签: pythonapache-sparkmemory-managementpyspark

解决方案


推荐阅读