时间戳

首页 > 解决方案 > Pyspark 中的多个过滤器

pyspark - Pyspark 中的多个过滤器

问题描述

需要根据记录代码和服务日期使用多个条件过滤数据，并根据col1, col2, . 计算不同的值col3。

在执行期间解决 Pyspark 参数时遇到问题并且不返回任何记录。

from_dt = 01-01-2018
end_dt= 12-31-2018

df.filter((trim(df.code) =='AB') | (trim(df.code) =='CD') | (trim(df.code) =='F')).filter("from_dt >= '${0}' & end_dt <= ${1}'").select("col1","col2","col3").distinct().count()

标签： pyspark

解决方案

推荐阅读