amazon-web-services - InvalidQueryException:此操作不支持一致性级别 LOCAL_ONE。支持的一致性级别是:LOCAL_QUORUM
问题描述
import org.apache.spark._
import org.apache.spark.SparkContext._
import com.datastax.spark.connector._
import com.datastax.spark.connector.cql.CassandraConnector
val conf = new SparkConf()
.setMaster("local[*]")
.setAppName("XXXX")
.set("spark.cassandra.connection.host" ,"cassandra.us-east-2.amazonaws.com")
.set("spark.cassandra.connection.port", "9142")
.set("spark.cassandra.auth.username", "XXXXX")
.set("spark.cassandra.auth.password", "XXXXX")
.set("spark.cassandra.connection.ssl.enabled", "true")
.set("spark.cassandra.connection.ssl.trustStore.path", "/home/nihad/.cassandra/cassandra_truststore.jks")
.set("spark.cassandra.connection.ssl.trustStore.password", "XXXXX")
.set("spark.cassandra.output.consistency.level", "LOCAL_QUORUM")
val connector = CassandraConnector(conf)
val session = connector.openSession()
sesssion.execute("""INSERT INTO "covid19".delta_by_states (state_code, state_value, date ) VALUES ('kl', 5, '2020-03-03');""")
session.close()
我正在尝试使用本地系统中设置的 Spark 应用程序将数据写入 AWS Cassandra Keyspace。问题是当我执行上面的代码时,我得到如下异常:
“com.datastax.oss.driver.api.core.servererrors.InvalidQueryException:此操作不支持一致性级别 LOCAL_ONE。支持的一致性级别是:LOCAL_QUORUM”
从上面的代码可以看出,我已经在 Spark Conf 中将 cassandra.output.consistency.level 设置为 LOCAL_QUORUM。我也在使用 datastax cassandra 驱动程序。
但是当我从 AWS Cassandra 读取数据时,它运行良好。我还在 AWS Keyspace cqlsh 中尝试了相同的 INSERT 命令。它在那里也工作得很好。所以查询是有效的。
有人可以帮助我如何通过 datastax.CassandraConnector 设置一致性吗?
解决方案
破解它。
而不是通过 spark config 设置 cassandra 一致性。我在 src/main/resources 目录中创建了一个 application.conf 文件。
datastax-java-driver {
basic.contact-points = [ "cassandra.us-east-2.amazonaws.com:9142"]
advanced.auth-provider{
class = PlainTextAuthProvider
username = "serviceUserName"
password = "servicePassword"
}
basic.load-balancing-policy {
local-datacenter = "us-east-2"
}
advanced.ssl-engine-factory {
class = DefaultSslEngineFactory
truststore-path = "yourPath/.cassandra/cassandra_truststore.jks"
truststore-password = "trustorePassword"
}
basic.request.consistency = LOCAL_QUORUM
basic.request.timeout = 5 seconds
}
并创建了如下所示的 cassandra 会话
import com.datastax.oss.driver.api.core.config.DriverConfigLoader
import com.datastax.oss.driver.api.core.CqlSession
val loader = DriverConfigLoader.fromClassPath("application.conf")
val session = CqlSession.builder().withConfigLoader(loader).build()
sesssion.execute("""INSERT INTO "covid19".delta_by_states (state_code, state_value, date ) VALUES ('kl', 5, '2020-03-03');""")
它终于奏效了。无需弄乱驱动程序配置的 spark config 文档https://docs.datastax.com/en/drivers/java/4.0/com/datastax/oss/driver/api/core/config/DriverConfigLoader.html#fromClasspath-java .lang.String-
datastax 配置文档https://docs.datastax.com/en/developer/java-driver/4.6/manual/core/configuration/reference/
推荐阅读
- excel - 将数据从单元格移动到现有行的末尾
- regex - 正则表达式从逗号分隔文件中提取前两个字段
- ansible - Ansible,pg_hba.conf 配置与来自主机文件的 IP
- java - 手牌和扑克牌之间的 Dack/Card 阵列复制
- php - 如何将 PHP 类数据传递给 $this 中的另一个类?
- c# - 如何在等待 Web 响应时更新 Windows 窗体文本框值
- kubernetes - 无法在 gcp 入口中打开 swagger 文档
- sql-server - SQL Server SQLCMD 模式 :setvar 的大小限制是多少?
- python - 将字符串拆分为二维数组python
- c - 数组不打印其中的第一个字母