multithreading - 火花多线程共享数据帧

Question

我尝试在线程中加载来自 avro 文件的数据帧。它似乎没有出错，但我无法在其他线程中访问该数据帧。我的理解是所有线程都将具有相同的火花上下文。

有没有人做到这一点？

我试过了：

val thread = new Thread {
     override def run {
     var a = 1
     while (a > 0) {
       val someDF = Seq(
                    (8, "bat"),
                    (64, "mouse"),
                    (-27, "horse")
                  ).toDF("number", "word")
    } }

   }
thread.start


someDF.show

标签： multithreadingscalaapache-sparkapache-spark-sql