时间戳

首页 > 解决方案 > 重命名 SPARK 中具有相同名称的字段

scala - 重命名 SPARK 中具有相同名称的字段

问题描述

我正在使用具有相同字段名称的 JSON。如何在 spark 数据框中重命名。请帮忙。

val df1 =dataframe.select( "BusinessAsset.Name", "BusinessAsset.Code", "BusinessOperation.Name" as Name1, "BusinessOperation.Code" as code1, "Measurement.RecordedBy.System", "Measurement.RecordedBy.Code" as c1)

标签： scalaapache-sparkdataframeapache-spark-sql

解决方案

.select()也可以采用Column类型，而不仅仅是字符串。该Column类型可以使用它的.as()方法设置它的名称：

val df1 = dataframe.select(
  $"BusinessAsset.Name",
  $"BusinessAsset.Code",
  $"BusinessOperation.Name".as("Name1"),
  $"BusinessOperation.Code".as("code1"),
  $"Measurement.RecordedBy.System",
  $"Measurement.RecordedBy.Code".as("c1")
)

推荐阅读