时间戳

首页 > 解决方案 > scala 前向参考扩展了值数据帧的定义

scala - scala 前向参考扩展了值数据帧的定义

问题描述

我正在尝试根据我尝试对每列进行类型转换df_trial的 XML 文件，对数据框中的列进行类型转换，该数据框中的所有列都为字符串。

val columnList = sXml \\ "COLUMNS" \ "COLUMN"
val df_trial = sqlContext.createDataFrame(rowRDD, schema_allString)
columnList.foreach(i => {
  var columnName = (i \\ "@ID").text.toLowerCase()
  var dataType = (i \\ "@DATA_TYPE").text.toLowerCase()
  if (dataType == "number") {
    print("number")
    var DATA_PRECISION: Int = (i \\ "@DATA_PRECISION").text.toLowerCase().toInt
    var DATA_SCALE: Int = (i \\ "@DATA_SCALE").text.toLowerCase().toInt;
    var decimalvalue = "decimal(" + DATA_PRECISION + "," + DATA_SCALE + ")"
    val df_intermediate: DataFrame =
      df_trial.withColumn(s"$columnName",
                          col(s"$columnName").cast(s"$decimalvalue"))
    val df_trial: DataFrame = df_intermediate
  } else if (dataType == "varchar2") {
    print("varchar")
    var DATA_LENGTH = (i \\ "@DATA_LENGTH").text.toLowerCase().toInt;
    var varcharvalue = "varchar(" + DATA_LENGTH + ")"
    val df_intermediate =
      df_trial.withColumn(s"$columnName",
                          col(s"$columnName").cast(s"$varcharvalue"))
    val df_trial: DataFrame = df_intermediate
  } else if (dataType == "timestamp") {
    print("time")
    val df_intermediate =
      df_trial.withColumn(s"$columnName", col(s"$columnName").cast("timestamp"))
    val df_trial: DataFrame = df_intermediate
  }
});

标签： scalaapache-sparkapache-spark-sql

解决方案

在 if-else 的每个分支中，您都在使用在df_trial定义它们之前调用的值。您需要重新排列代码以首先定义它们。

注意：按照您的方式，df_trial最顶部的 没有被使用。根据您要执行的操作，您可能希望将第一个更改df_trial为 avar并val从其他用法中删除。（这可能仍然是错误的，因为您将在循环时多次覆盖同一个变量columnList）。

推荐阅读