apache-spark - 有没有办法在 java 中的 Spark 2.1 中进行广播加入

Question

我知道在 scala 中存在一种方法，如下所述。

val joined_df = df1.join(broadcast(df2), "key")

如何在 Java 中进行广播加入。我必须做 sc.broadcast (df2) 并在连接中使用它吗？那么它会被称为广播加入吗？

标签： apache-sparkhadoopapache-spark-sql

Answer 1

如何在 Java 中进行广播加入。

完全相同的方式。

import static org.apache.spark.sql.functions.broadcast;

Datset<Row> joined = df1.join(broadcast(df2), "key");