时间戳

首页 > 解决方案 > Spark 从 cassandra 获取 ttl 列

java - Spark 从 cassandra 获取 ttl 列

问题描述

我正在尝试从 cassandra 获取 ttl 列，但到目前为止我无法使其工作。

这是我到目前为止所尝试的：

SparkSession sparkSession = SparkSession.builder()
        .appName("Spark Sql Job").master("local[*]")
        .config("spark.sql.warehouse.dir", "file:///c:/tmp/spark-warehouse")
        .config("spark.cassandra.connection.host", "localhost")
        .config("spark.cassandra.connection.port", "9042")
        .getOrCreate();

SQLContext sqlCtx = sparkSession.sqlContext(); 

Dataset<Row> rowsDataset = sqlCtx.read()
        .format("org.apache.spark.sql.cassandra")
        .option("keyspace", "myschema")
        .option("table", "mytable").load();

rowsDataset.createOrReplaceTempView("xyz");   
rowsDataset = sparkSession.sql("select ttl(emp_phone) from vouchers");   
rowsDataset.show();

标签： javaapache-sparkcassandra

解决方案

来自 spark-cassandra-connector 文档：

select 方法允许查询表格单元格的 TTL 和时间戳。

使用 Select 检索 TTL 和时间戳的示例

val row = rdd.select("column", "column".ttl, "column".writeTime).first
val ttl = row.getLong("ttl(column)")
val timestamp = row.getLong("writetime(column)")

可以通过在列选择器上调用 as 来为选定的列赋予别名，这在获取 TTL 和时间戳时特别方便。

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/3_selection.md

推荐阅读