首页 > 解决方案 > 从 Spark 标头和字段中删除引号

问题描述

我有一个 csv 文件,并且正在使用以下代码上传它:

val bank = spark.read.format("com.databricks.spark.csv").
 | option("header", true).
 | option("ignoreLeadingWhiteSpace", true).
 | option("inferSchema", true).
 | option("quote", "").
 | option("delimiter", ";").
 | load("bank_dataset.csv")

我得到以下信息:

“年龄 ““工作”” ““婚姻”” ““收入””
"58 ""技术"" ““已婚”” 58000

奇怪的是,第一列的开头只有一个引号,其余列都有双引号。除了年龄前面有引号外,其他数字没有任何引号。

我需要对其进行处理,使其看起来像这样:

年龄 工作 婚姻 收入
58 技术 已婚 58000

标签: scalaapache-spark

解决方案


推荐阅读