scala - 优化 Spark Couchbase 连接器上的提取大小

Question

我使用 Spark 使用 Spark 的数据集将表与其他数据库和 couchbase 连接起来。

val couchbaseTable = session.read.couchbase(StructType(StructField("name",StringType) ::Nil))

在 Couchbase 控制台上，我可以看到 ops 上升到 500 上限，然后在几秒钟后变为 0。我使用 java api 和 reactivex 进行了负载测试，并且能够达到 20k ops。

如何增加获取大小（批量，批量），以便所有文档立即被 spark 获取以进行处理，就像我可以使用 cassandra 连接器一样？

标签： scalaapache-sparkcouchbase