apache-spark - Spark DataSet Join 是否过滤下推

Question

我是 Spark DataSet/RDD/DataFrame 概念的新手，主要使用 SparkSQL。

我有如下查询，不通过 SQL 直接操作数据：

Dataset<Row> result =
 tableA.join(tableB,
 expr("x = y AND " +
"timestamp >= timestampConstant AND " +
"timestamp <= timestampConstant + INTERVAL " + timestampDiff));

上述 DataSet 连接是否会自动将范围过滤器 ( ) 下推timestamp到表扫描的一侧？或者我应该手动重写上面的代码来下推范围过滤器然后进行连接？

感谢您的回答。

标签： apache-sparkapache-spark-sql