时间戳

首页 > 解决方案 > Scala - 如何将字符串值传递给数据框过滤器（Spark-Shell）

scala - Scala - 如何将字符串值传递给数据框过滤器（Spark-Shell）

问题描述

我在 Spark-Shell 环境中使用 Spark 2.2.0 和 Scala 2.11.8。我有一个数据框 df，我需要根据“日期”列的值过滤掉前一天的数据，然后将数据附加到 HDFS 位置。（例如今天是2018-06-28，我需要2018-06-27的数据）

下面是代码：

 df.filter($"date" === "2018-06-27") .write.mode(SaveMode.Append).parquet("hdfs:/path..../date=2018-06-27")

我需要上面的代码进行自动化，所以我需要将过滤器值和目录名称替换为“2018-06-27”。所以如果我有一个字符串-> date_test: String = 2018-06-27; 下面的代码应该仍然有效

 df.filter($"date" === "date_test") .write.mode(SaveMode.Append).parquet("hdfs:/path..../date=date_test")

这个怎么做？

标签： scalaapache-sparkhadoophdfs

解决方案

您可以应用如下过滤条件

//Input
+----------+
|      date|
+----------+
|2018-02-01|
|2017-01-02|
+----------+

//Solution: 
 val previousDate="'2018-02-01'"
 df.filter(s"date=$previousDate").show

//Output: 
+----------+
|      date|
+----------+
|2018-02-01|
+----------+

您可以为您的解决方案这样做

 val datetest:String="2018-02-01"
 df.filter(s"date='$datetest'").write.mode(SaveMode.Append).parquet(s"hdfs:/path..../$datetest")

推荐阅读