时间戳

首页 > 解决方案 > Spark SQL 中具有等效精度的十进制类型

apache-spark - Spark SQL 中具有等效精度的十进制类型

问题描述

什么是 SQL 中的 Spark SQL 数据类型等价物DecimalType(2,9)？

例如：print(column.dataType==X)=> 应该给我 True。SQL 中 Column 的数据类型是 DecimalType(2,9)

试过：X= DataTypes.createDecimalType(2,9)，工作正常

我正在寻找一个通用DecimalType类来过滤数据框中的所有DecimalType列，而不管精度和比例如何。

标签： apache-sparkapache-spark-sql

解决方案

每种DecimalType类型都是DecimalType类的一个实例：

from pyspark.sql.types import DecimalType

df = (spark
  .createDataFrame(["1.32"], "string")
  .selectExpr("CAST(value AS DECIMAL(4, 2)) AS value"))

isinstance(df.schema["value"].dataType, DecimalType)
# True

import org.apache.spark.sql.types._

val df = Seq("1.32").toDF("value")  
  .selectExpr("CAST(value AS DECIMAL(4, 2)) AS value")

df.schema("value").dataType match {
  case _: DecimalType => true
  case _ => false
}
// Boolean = true

当然，你永远不会遇到DECIMAL(2,9)，因为规模不可能大于精度。

推荐阅读