时间戳

首页 > 解决方案 > 如何在 pyspark 数据框中显示特定的最大行

python - 如何在 pyspark 数据框中显示特定的最大行

问题描述

我有以下代码

ageDF.sort('Period')
     .groupBy('Period')
     .agg(round(sum('Age_specific_birth_rate'), 2).alias('Total Births'))
     .show()

以上按 Period 对 age_specific_birth_rate 的总和进行分组

所以输出会像

Period|Total Births|
+------+------------+
|  2000|       395.5|
|  2001|       393.4|
|  2002|       377.3|
|  2003|       386.2|
|  2004|       395.9|
|  2005|       391.9|
|  2006|       400.4|
|  2007|       434.0|
|  2008|       437.8|
|  2009|       425.7|
|  2010|       434.0|
|  2011|       417.8|
|  2012|       418.2|
|  2013|       400.4|
|  2014|       384.3|
|  2015|       398.7|
|  2016|       374.8|
|  2017|       362.7|
|  2018|       342.2|

但我想按期间显示其中的最大值

所以当我输入以下代码时

  ageDF.sort('Period')
       .groupBy('Period')
       .agg(round(sum('Age_specific_birth_rate'), 2).alias('Total'))
       .select('Period', 'Total')
       .agg(max('Total'))
       .show()

我得到输出

> +----------+
  |max(Total)|
  +----------+
  |     437.8| 
  +----------+

但我想得到类似的东西

  +------+------------+
  |Period|max(Total)  |
  +------+------------+
  |  2008|       395.5|

我该怎么办？

谢谢

标签： pythonpysparkapache-spark-sql

解决方案

你可以试试

ageDF.sort('Period')
     .groupBy('Period')
     .agg(round(sum('Age_specific_birth_rate'), 2).alias('Total'))
     .orderBy(functions.col('Total').desc())
     .limit(1)
     .select('Period', 'Total')
     .show()

推荐阅读