scala - 为 Couchbase 使用 Spark 连接器时出错

Question

我正在尝试将以下 Spark 数据帧写入 Couchbase：

import com.couchbase.spark.sql._
   import com.couchbase.spark._
   import com.couchbase.client.java.document.JsonDocument
   object Test{
   case class Person(name: String, relation: String, uid:String)
  def main(args: Array[String]) {
    val conf = new SparkConf()
    conf.set("spark.couchbase.nodes", "xxx.cloud.io")
    conf.set("spark.couchbase.username", "Administrator")
    conf.set("com.couchbase.password", "xxx")
    conf.set("com.couchbase.bucket.xx", "xx")
    conf.set("com.couchbase.connectTimeout", "50000")

    val sc = new SparkContext(conf)
    val hiveCtx = new HiveContext(sc)

    import hiveCtx.implicits._


    val people = sc.parallelize(Seq(
    Person("user::michael", "Michael", "27"),
    Person("user::tom", "Tom", "33")
      )).toDF()

    val couchbaseConf =  scala.collection.immutable.Map("bucket" -> "xx", "idField" -> "uid")

    people.write.couchbase(couchbaseConf)

  
  }

}

我使用这个火花提交：

spark-submit --class Test  --master yarn-cluster --deploy-mode cluster --queue default --jars spark-connector_2.10-1.2.0.jar,couchbase-client-1.4.12.jar,core-io-1.3.3.jar,java-client-2.4.2.jar test_2.10-1.0.jar

但我面临以下错误：

java.lang.NoClassDefFoundError: rx/functions/Func2

任何可以帮助我的信息都非常感谢。

标签： scalaapache-sparkcouchbase