java - Spark：重写 .filter("count > 1") 没有字符串表达式

Question

Java中有一段代码：

Dataset<Row> dataset = ...
...
dataset.groupBy("id").count().filter("count > 1");

有没有办法"count > 1"使用一些数据框方法来设置条件，比如filter(count().gt(1))？

标签： javaapache-sparkdataframeapache-spark-sql

Answer 1

函数“col”有比较方法，可以使用它们：

import static org.apache.spark.sql.functions.*;
ds.filter(col("count").$greater(lit(1)))