pyspark - rdd 上的映射如何在 pyspark 中工作?
问题描述
当我遇到这个时,我正在学习 pyspark。
from pyspark.sql import Row
df = spark.createDataFrame([Row([0,45,63,0,0,0,0]),
Row([0,0,0,85,0,69,0]),
Row([0,89,56,0,0,0,0])],
['features'])
+--------------------+
| features|
+--------------------+
|[0, 45, 63, 0, 0,...|
|[0, 0, 0, 85, 0, ...|
|[0, 89, 56, 0, 0,...|
+--------------------+
sample = df.rdd.map(lambda row: row[0]*2)
sample.collect()
[[0, 45, 63, 0, 0, 0, 0, 0, 45, 63, 0, 0, 0, 0],
[0, 0, 0, 85, 0, 69, 0, 0, 0, 0, 85, 0, 69, 0],
[0, 89, 56, 0, 0, 0, 0, 0, 89, 56, 0, 0, 0, 0]]
我的问题是为什么 row[0] 被视为一个完整的列表而不是一个值?给出上述输出的属性是什么
解决方案
它被视为您提供的完整列表,并且您还在“功能”一列下定义了它
当你说
df.rdd.map(lambda row: row[0]*2)
您只是在询问 spark “我希望此列表中的所有值出现两次”。因此,您将获得您正在获得的输出。
现在如何获取列表中的单个值。
df = spark.createDataFrame([Row(0,45,63,0,0,0,0),
Row(0,0,0,85,0,69,0),
Row(0,89,56,0,0,0,0)],
['feature1' , 'feature2' , 'feature3' , 'feature4', 'feature5' , 'feature6' , 'feature7'])
这应该使您可以访问专用列中的各个值。
注意:模式的语法只是表示。请参阅 spark 文档以获取确切的语法。
希望这可以帮助 :)
推荐阅读
- embedded - VxWorks:为什么无法更改引导线?
- css - How can I get the facebook customer chat svg?
- components - 如何让参数不仅显示在组件中,而且在 OnInitializedAsync() 中被识别?
- flutter - Flutter:E / location_permissions:Geolocator插件中的结果对象为空
- javascript - 检查谁是第一个在firebase firestore中设置属性的正确方法
- three.js - 如何在 webXR 上重置相机的 matrixWorld
- mongodb - 如果满足条件,MongoDB 会附加 `$or` 运算符
- java - 将模拟 bean 注入 AnnotatinConfigApplicationContext 失败
- javascript - 在 Servlet 中读取 JSON 值的问题
- mongodb - Mongodb 集合复制和读取游标