python - 将最大日期与 pyspark 中的 current_timestamp 进行比较

Question

我正在尝试实现必须执行以下操作的功能：

• 计算数据框中的最大日期
• 从现在开始计算 14 天后的日期
• 比较两个日期

我必须基本上比较一个数据框列和一个常量日期。我不确定在 pyspark 中实现这一目标的最佳方法是什么。

   max_date = input_data.agg(max(input_data["DAY_DT"]))
   threshold_date = date_sub(to_date(datetime.now(),"MM-dd-yyyy"),14)
   if(threshold_date < max_date):
        <some condition>

标签： pythonapache-sparkdatepyspark