pyspark - 如何从火花数据框中获取单个值

Question

我有一个数据框，如下所示：

Col1  Col2
1.2   9.8
3.4   8.8

我想从列中检索单个值的值 Col2[2]

我将如何在火花中实现这一目标

我尝试了以下代码：

t = df[0].__getitem__("Col2")

Column<b'Col1[Col2]'>

标签： pysparkapache-spark-sql

Answer 1

我们可以使用.rdd将 df 转换为 rdd 然后使用lambda function我们只能Col2从行对象中获取！

df.show()
+----+----+
|Col1|Col2|
+----+----+
| 1.2| 9.8|
| 3.4| 8.8|
+----+----+

#to get col2 second row
df.collect()[1][1]
#8.8

#to get col2
df.rdd.map(lambda x:x.Col2).collect()
[9.8, 8.8]