spark-structured-streaming - Spark 2.2 Structured Streaming Stream - 静态左外连接问题
问题描述
我似乎在 Stream 上遗漏了一些东西 - Spark 2.2 中的静态加入。
手册指出这样的连接是可能的,但我无法获得正确的语法。奇怪的。没有使用水印。
val joinedDs = salesDs
.join(customerDs, "customerId", joinType="leftOuter")
得到的错误如下,但我很确定我有正确的双方:
<console>:81: error: overloaded method value join with alternatives:
(right: org.apache.spark.sql.Dataset[_],joinExprs:
org.apache.spark.sql.Column,joinType: String)org.apache.spark.sql.DataFrame <and>
(right: org.apache.spark.sql.Dataset[_],usingColumns: Seq[String],joinType: String)org.apache.spark.sql.DataFrame
cannot be applied to (org.apache.spark.sql.Dataset[Customer], String, joinType: String)
.join(customerDs, "customerId", joinType="left_Outer")
^
解决方案
由于某种原因,在添加 joinType 时,我还需要添加 Seq.
.join(customerDs, Seq("customerId"), "left_Outer")
推荐阅读
- arrays - 快速将一维数组转换为二维数组
- python - 如何在 TI cl2000 编译器中使用 python cffi 库?
- java - 需要使用 OpenCsv 或任何其他实用程序将 Java 中的嵌套 bean 转换为 csv
- c# - “Selection.objects”似乎在打开的预制层次结构窗口中不起作用
- git - 如何删除或替换 github 中的 master 分支?
- git - 使用 git 子模块时如何处理绝对导入
- reactjs - 在 Ant Design 中更改模态按钮文本
- symfony - Symfony DomCrawler 获取没有属性/样式的 HTML
- xcode - macOS:SwiftUI:MenuItem 用于截取 WKWebView 的屏幕截图并将其保存到带有时间戳的 ~/Pictures?
- javascript - 无法在 LAN React Native 上运行我的 Expo 应用程序