apache-spark - 将所有列从 StringType 转换为 DoubleType

Question

这个过程很长，我想知道我是否可以将它减少到一行

我想将所有列从字符串转换为双精度。

标签： apache-sparkpysparkapache-spark-sql

Answer 1

list comprehension在python中使用。

Example:

from pyspark.sql.types import *
from pyspark.sql.functions import *
new_df1=df.select([col(c).cast("double") for c in df.columns])