时间戳

首页 > 解决方案 > 如何获取 saveToCassandra 并使用它？

apache-spark - 如何获取 saveToCassandra 并使用它？

问题描述

我正在使用 spark-sql v2.3.1 将数据写入 cassandra v3.11.1。要将数据框写入 cassandra 表，我们可以使用

df.write.format("org.apache.spark.sql.cassandra") 
 .options(Map( "table" -> tname, "keyspace" -> keyspacename ))
 .mode(SaveMode.Append)
 .save();

但是对于相同的版本，我如何使用saveToCassandra()方法我需要添加任何罐子，我已经添加了 spark-cassandra-connector 和 cassandra-driver-core。我需要添加更多的罐子吗？我得到一个 sparksession 作为 spark 并且它不支持 createDateFrame()。

标签： apache-sparkapache-spark-sqldatastax-enterprisecassandra-3.0databricks

解决方案

saveToCassandra在同一个包中，但它适用于 RDD，而不是 DataFrames。因此，如果您想使用该命令（确实应该是一个很好的理由），您只需要通过说df.rdd, 并调用saveToCassandra它来从数据框中获取 RDD。

推荐阅读