时间戳

首页 > 解决方案 > 在数据框的一行中创建一个结构字段

scala - 在数据框的一行中创建一个结构字段

问题描述

我有下面的代码，我试图创建一个带有结构字段的 Spark DataFrame。我应该???用什么来代替它才能工作。

import org.apache.spark.sql.types._
import org.apache.spark.sql.{DataFrame, Row, SparkSession}

val spark: SparkSession = SparkSession.builder()
  .appName("NodesLanesTest")
  .getOrCreate()
val someData = Seq(
  Row(1538161836000L, 1538075436000L, "cargo3", 3L, ???("Chicago", "1234"))
)
val someSchema = StructType(
  List(
    StructField("ata", LongType, nullable = false),
    StructField("atd", LongType, nullable = false),
    StructField("cargo", StringType, nullable = false),
    StructField("createdDate", LongType, nullable = false),
    StructField("destination",
      StructType(List(
        StructField("name", StringType, nullable = false),
        StructField("uuid", StringType, nullable = false)
      ))))
val someDF = spark.createDataFrame(
  spark.sparkContext.parallelize(someData),
  StructType(someSchema)
)

标签： scalaapache-spark

解决方案

您缺少一个 Row 对象。Row当您从对象序列创建数据框时，应将StructType其表示为Row对象，因此它必须为您工作：

val someData = Seq(
  Row(1538161836000L, 1538075436000L, "cargo3", 3L, Row("Chicago", "1234"))
)

希望能帮助到你。

推荐阅读