sql - Spark SQL - “包含”功能的替代方案

Question

我有一个场景，我需要在另一个数据框的另一列中的较大字符串中找到数据框列中字符串的存在。我正在使用Spark 2.4.4和Scala 2.11.12。

标签： sqlscalaapache-sparkapache-spark-sql

Answer 1

具有org.apache.spark.sql.Column包含函数，可用于在包含字符串的 2 列之间执行字符串样式包含操作。

val df = //a dataframe buiktas a result of join and has 2 columns - c1, c2

df.filter(col("c1").contains(col("c2"))).show()