首页 > 解决方案 > 尝试更改 pyspark 中的数据类型时获取 null

问题描述

我有一个数据集 C1.txt,其中有一列名为 features。所有行都是字符串,代表 x 和 y,二维点的坐标。我想将类型更改为 double 但是当我通过以下代码执行此操作时:

from pyspark.sql.types import(StructField,StringType,IntegerType,StructType,DoubleType) 
changedTypedf =df.withColumn("features", df["features"].cast(DoubleType()))

我收到所有行的 null (在更改数据类型之前)

更改数据类型后

我不知道是什么问题,请帮我解决这个问题。谢谢

标签: pysparkapache-spark-sqlbigdataapache-spark-mllib

解决方案


推荐阅读