apache-spark - 如何计算 PySpark 数据框中每个键的百分位数?
问题描述
我有一个 PySpark 数据框,由三列 x、y、z 组成。
X 在此数据框中可能有多行。如何分别计算 x 中每个键的百分位数?
+------+---------+------+
| Name| Role|Salary|
+------+---------+------+
| bob|Developer|125000|
| mark|Developer|108000|
| carl| Tester| 70000|
| carl|Developer|185000|
| carl| Tester| 65000|
| roman| Tester| 82000|
| simon|Developer| 98000|
| eric|Developer|144000|
|carlos| Tester| 75000|
| henry|Developer|110000|
+------+---------+------+
需要的输出:
+------+---------+------+----------
| Name| Role|Salary| 50%|
+------+---------+------+----------
| bob|Developer|125000|117500.0 |
| mark|Developer|108000|117500.0 |
| carl| Tester| 70000|72500.0 |
| carl|Developer|185000|117500.0 |
| carl| Tester| 65000|72500.0 |
| roman| Tester| 82000|72500.0 |
| simon|Developer| 98000|117500.0 |
| eric|Developer|144000|117500.0 |
|carlos| Tester| 75000|72500.0 |
| henry|Developer|110000|117500.0 |
+------+---------+------+---------
解决方案
尝试groupby
+ F.expr
:
import pyspark.sql.functions as F
df1 = df.groupby('Role').agg(F.expr('percentile(Salary, array(0.25))')[0].alias('%25'),
F.expr('percentile(Salary, array(0.50))')[0].alias('%50'),
F.expr('percentile(Salary, array(0.75))')[0].alias('%75'))
df1.show()
输出:
+---------+--------+--------+--------+
| Role| %25| %50| %75|
+---------+--------+--------+--------+
| Tester| 68750.0| 72500.0| 76750.0|
|Developer|108500.0|117500.0|139250.0|
+---------+--------+--------+--------+
现在您可以加入df1
原始数据框:
df.join(df1, on='Role', how='left').show()
输出:
+---------+------+------+--------+--------+--------+
| Role| Name|Salary| %25| %50| %75|
+---------+------+------+--------+--------+--------+
| Tester| carl| 70000| 68750.0| 72500.0| 76750.0|
| Tester| carl| 65000| 68750.0| 72500.0| 76750.0|
| Tester| roman| 82000| 68750.0| 72500.0| 76750.0|
| Tester|carlos| 75000| 68750.0| 72500.0| 76750.0|
|Developer| bob|125000|108500.0|117500.0|139250.0|
|Developer| mark|108000|108500.0|117500.0|139250.0|
|Developer| carl|185000|108500.0|117500.0|139250.0|
|Developer| simon| 98000|108500.0|117500.0|139250.0|
|Developer| eric|144000|108500.0|117500.0|139250.0|
|Developer| henry|110000|108500.0|117500.0|139250.0|
+---------+------+------+--------+--------+--------+
推荐阅读
- sql - PostgreSQL - 检查值是否等于枚举值
- python - 指定替代日期时间格式“例外:无效的日期时间。它必须大于最后一个”
- php - 我的代码的哪一部分导致未定义索引错误?(PHP)
- php - 经常使用的术语“PHP 二进制”实际上是什么意思?
- delphi - 将 ZSQLProcessor.Script.Text 从 ZeosLib 迁移到 FireDAC for MySQL
- rethinkdb - 我可以在 RethinkDB 中获得更短的 UUID 吗?
- c++ - 自动类型默认为 int 而不是 long
- mysql - 带有 DECLARE 值的 MYSQL TRIGGER
- python - 使用 PubNub 在 Django 视图中发布消息
- java - 在java中使用rest客户端下载多个文件