apache-spark-sql - 如何在pyspark中设置setCheckpoint

Question

标签： apache-spark-sqlcheckpointing

Answer 1

为然后创建一个对象SparkContext，您不需要指定self参数。另外，删除不需要的参数的名称。

如下代码有效：

from pyspark import SparkConf
from pyspark.context import SparkContext
sc = SparkContext.getOrCreate(SparkConf())
sc.setCheckpointDir(‘path/to/checkpoint/dir’)