时间戳

首页 > 解决方案 > 等效于数据类型“真实”的 Spark

pyspark - 等效于数据类型“真实”的 Spark

问题描述

我正在寻找我们可以在 SQL 中使用的“真实”类型的 Spark 中的等价物。我看到“双重”是最接近“真实”的类型。

我试图创建一个这样的表：

CREATE EXTERNAL TABLE customers (
  name string,
  salary real
)
partitioned by (country string, age integer)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION 's3a://path-s3/customers/';

我收到了这个错误： DataType real is not supported.

  1. 为什么我们不能在 Spark 中使用这种类型？
  2. “真实”和“双重”有什么区别？

谢谢

标签： pysparkapache-spark-sql

解决方案

推荐阅读