python - pyspark中的命名累加器

Question

在 scala spark 中，可以创建一个命名的累加器，它将通过以下方式显示在 web ui 中

val accum = sc.accumulator(0, "My Accumulator")

但是 pysparksc.accumulator()方法没有名称参数。是否可以在 pyspark 中创建一个命名的累加器，它将显示在 web ui 中？

标签： pythonapache-sparkpyspark

Answer 1

在 pyspark 中创建命名累加器是不可能的。这个问题已经提出。您可以跟踪此线程https://issues.apache.org/jira/browse/SPARK-2868。