apache-spark - 在 pySpark 我得到 py4j.protocol.Py4JError: py4j.Py4JException: Method isBarrier([]) 不存在

Question

这个例外正在上升lines.count()。

发生异常：py4j.protocol.Py4JError 调用 o26.isBarrier 时发生错误。跟踪：py4j.Py4JException：方法 isBarrier([]) 在 py4j.Gateway 的 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326) 的 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318) 中不存在。在 py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
处调用(Gateway.java:274) 从 pyspark 导入 SparkContext

代码：

    conf = SparkConf()

    conf.setAppName("First App")

    sc = SparkContext('local',conf=conf)
    print("-----------------------------------------------------------------------------")
    lines = sc.textFile("sample.csv")
    print("-----------------------------------------------------------------------------")
    lines.count()

标签： apache-sparkpysparkpy4j