首页 > 解决方案 > Spark时间戳列值比较

问题描述

示例数据我想过滤掉date_time_begin小于开始日期的行,我已经尝试过了,但我没有得到任何输出。我使用的是 spark 1.6.2 版本

 filterddata = joindedf.filter(joindedf("date_time_begin").gt(lit("str_date")))
 filterddata.show()

标签: apache-spark-sql

解决方案


如果两者columns都相同,datatype这应该可以。

val filterddata = joindedf.filter(joindedf("date_time_begin").gt(joindedf("str_date")))

lit用于将文字值转换为column.

我希望这有帮助!


推荐阅读