python - PySpark 部分匹配列到字典值

Question

我有一本字典：

dict = {key1: "value1", key2: "value2", key3 : "value3"}

和一个带有单列的数据框 test_dta：

   Col
 value1
 value2 
 value3
 wrong_value
 value1value4
 ...

我的预期结果是过滤数据框，它只会返回与字典值部分匹配的行。IE

Colu          
value1      
value2      
value3      
value1value4

我尝试过以下方法：

test_dta.filter(test_dta.Colu.contains(list(dict.values())))

但返回错误消息。

我可以知道实现这一目标的正确/其他方法吗？

谢谢！

标签： pythonapache-sparkpyspark

Answer 1

Contains检查字符串中是否存在子字符串，并检查是否在项目列表中找到.isin任何值匹配，但您的情况是根据列表匹配字符串。

相反.rlike，我们可以生成or(|)条件并仅过滤匹配的行。

Example:

df.show()
#+------------+
#|         Col|
#+------------+
#|      value1|
#|      value2|
#|      value3|
#|       wrong|
#|value1value2|
#+------------+
dict = {'key1': "value1", 'key2': "value2", 'key3' : "value3"}

from pyspark.sql.functions import *
#filter using rlike and generate expression dynamically based on dict.values
df.filter(col("Col").rlike("|".join(["(" +l+")" for l in list(dict.values())]))).show()
#+------------+
#|         Col|
#+------------+
#|      value1|
#|      value2|
#|      value3|
#|value1value2|
#+------------+