amazon-web-services - AWS Redshift Spectrum（外部表）-分配给列的 Varchar 数据类型无法同时处理同一列的数组和字符串数据

Question

任务：尝试使用 Redshift Spectrum 将一堆 JSON 文件从 s3 存储桶加载到 Redshift。问题：少数文件中的 JSON 对象包含用方括号括起来的数据，但其他 JSON 文件具有相同的对象而没有方括号。在使用 Redshift 频谱表创建外部表时，有没有办法同时使用带/不带方括号“[]”的数据？

要使用的 JSON 文件：

文件 1： "x":{"y":{ "z":["ABCD"]}}

文件 2： "x":{"y":{ "z":"EFGH"}}

情况1

当 z 列定义为数组时，我错过了 JSON 文件中“不带方括号”的数据

CREATE EXTERNAL TABLE spectrum.table
(x struct<y:struct<z:array<varchar(256)>>>)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ( 'dots.in.keys'='true') STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location 's3://****'

询问：Select c from spectrum.table t , t.x.y.z c;

案例二

当 z 列定义为 varchar （未声明为数组）时，错误如下：

创建语句：

CREATE EXTERNAL TABLE spectrum.table
(x struct<y:struct<z:varchar(256)>>)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ( 'dots.in.keys'='true') STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location 's3://****'

查询：Select regexp_replace( t.x.y.z ,'\\([\\"])', '' ) from spectrum.table t; 或Select t.x.y.z from spectrum.table t；

 [XX000][500310] [Amazon](500310) Invalid operation: Spectrum Scan Error
 Details:
-----------------------------------------------
 error:  Spectrum Scan Error
 code:      15001
 context:   Unsupported implicit cast: Column ('x' 'y' 'z'), From Type: LIST, To Type: VARCHAR, 

 ----------------------------------------------

标签： amazon-web-servicesamazon-redshiftamazon-redshift-spectrum