apache-spark - pyspark - 聚合(总和)向量元素
问题描述
我有一个看似简单的问题,但我一直用头撞墙,但没有成功。我本质上是在尝试做与这篇文章相同的事情,只是我不关心那篇文章的“分组依据”方面,我只想总结所有行。
为了解释链接的帖子,DataFrame 看起来像:
ID,Vec
1,[0,0,5]
2,[3,3,4]
3,[0,8,1]
....
我想按元素对向量求和。
上述示例的所需输出将是单行:
SumOfVectors
[3,11,10]
另一个很大的区别是我使用的是 pyspark,而不是 Scala。我试着rdd.fold()
开始工作,但要么工作不一样,要么我无法弄清楚 pyspark 中的语法。
最后一个警告是,我在 ~1MM 行的数据帧和长度 ~10k 的向量上执行此操作,因此这必须相当有效。
谢谢你的帮助!根据评论,下面是一个可重现的玩具数据框。
import numpy as np
from pyspark.ml.linalg import Vectors
n_rows = 100
pdf = np.concatenate([np.array(range(n_rows)), np.random.randn(n_rows), 3*np.random.randn(n_rows)+2, 6*np.random.randn(n_rows)-2]).reshape(n_rows,-1)
dff = map(lambda x: (int(x[0]), Vectors.dense(x[1:])), pdf)
df = spark.createDataFrame(dff,schema=["ID", "Vec"])
df.schema
应该看起来像StructType(List(StructField(ID,LongType,true),StructField(Vec,VectorUDT,true)))
只是打印df
给了我DataFrame[ID: bigint, Vec: vector]
同样重要的是,我正在使用 Spark 2.4
$ spark-submit --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.4.0
/_/
Using Scala version 2.11.12, OpenJDK 64-Bit Server VM, 1.8.0_191
Branch HEAD
Compiled by user ec2-user on 2018-12-07T19:51:27Z
Revision bab859f34a291cb7b3f4e724b59e1b48af69016b
Url git@aws157git.com:/pkg/Aws157BigTop
Type --help for more information.
解决方案
我认为您必须先将向量列转换为数组,然后才能对其进行聚合。
from pyspark.ml.linalg import Vectors, VectorUDT
from pyspark.sql import functions as F
from pyspark.sql import types as T
def vec2array(v):
v = Vectors.dense(v)
array = list([float(x) for x in v])
return array
vec2array_udf = F.udf(vec2array, T.ArrayType(T.FloatType()))
df = df.withColumn('Vec', vec2array_udf('Vec'))
n = len(df.select('Vec').first()[0])
bla = df.agg(F.array(*[F.sum(F.col("Vec")[i]) for i in range(n)]).alias("sum"))
bla.show(truncate=False)
推荐阅读
- html - 嵌套元素的高度问题
- r - 如何从 RStudio 中查看 RSelenium 函数的帮助文档?
- python - np.gradient 是边界处后向和前向斜率的平均值吗
- c# - 空传播运算符返回 bool
- sql - 如何在sql中的触发器中进行嵌套?
- javascript - Semantic UI React - 无法在表格行上设置键属性
- r - 使用 for 循环用需要计算的方法填充矩阵。新手
- python - AttributeError:“DataFrame”对象没有属性“data”
- android - 在我的片段中的 RecycleView 中没有收到任何值
- c# - ASP.NET Core 3 MVC 路由参数不起作用