首页 > 解决方案 > 雪花中的文件格式问题 - Tilda(字段分隔符),两个双引号

问题描述

我们正在从红移过渡到雪花。有一个由 S3 文件加载的红移表。将文件加载到红移的语法是

copy edfenormalisedconfzone.address_1
from 's3://aws-d**/addr**.dat' 
 iam_role 'arn:aws:iam::659**:role/AWS_DUB_**'
delimiter '~' REMOVEQUOTES ACCEPTINVCHARS gzip MAXERROR 1  null as 'NULL' EXPLICIT_IDS;

雪花中对应的命令是

COPY INTO "FLK_DUB_DB_DATALAKE_PRE"."EDFENORMALISEDCONFZONE"."ADDRESS1"
from @FLK_DUB_DB_DATALAKE_PRE.S**.FLK**/SNOWFLAKE/ad**.dat0005_part_00.gz
FILE_FORMAT = (TYPE = CSV,
FIELD_DELIMITER = '~',
NULL_IF = ('NULL', 'NULL')
FIELD_OPTIONALLY_ENCLOSED_BY = '"'
EMPTY_FIELD_AS_NULL = FALSE
COMPRESSION = GZIP
ENCODING = 'UTF8' 
FILE_EXTENSION=DAT)
ON_ERROR = ABORT_STATEMENT;

文件加载到 Red-Shift 没有问题,但是文件无法加载到雪花中,进一步检查后我们发现表中的邮政编码字段在 tilda(~) 之后有两个双引号 ("")

enter code here:47"~""W!U""""""RU""~""

我们正在从 Red Shift 文件格式转换为 Snowflake 文件格式,但不确定为什么这在雪花中不起作用。

标签: escapingamazon-redshiftsnowflake-cloud-data-platformdouble-quotesfile-format

解决方案


推荐阅读