scala - 我们如何加入 Spark 中的选项列？

Question

如果我用这样的表达式加入两个 ds 怎么办：

ds1.join(ds2, ds1("OptionCol") === ds2("NonOptionCol"))

由于 OptionCol 的类型为：Option[Int] 而 NonOptionCol 的类型为：Int?

我在本地进行了测试，它似乎可以正常工作，但是建议这样做吗？

我应该总是加入具有相同数据类型的列吗？

标签： scalaapache-spark