时间戳

首页 > 解决方案 > 编码“UTF8”的无效字节序列

sql - 编码“UTF8”的无效字节序列

问题描述

我正在尝试使用gpload功能将 3GB（2400 万行）csv 文件加载到 greenplum 数据库，但我不断收到以下错误

错误 -

 invalid byte sequence for encoding "UTF8": 0x8d

我尝试了 Mike 提供的解决方案，但对我来说，我的 client_encoding 和文件编码已经相同。两者都是UNICODE。

数据库 -

show client_encoding;
"UNICODE"

文件 -

file my_file_name.csv
my_file_name.csv: UTF-8 Unicode (with BOM) text

我也浏览了 Greenplum 的文档，里面说外部文件和数据库的编码应该匹配。它在我的情况下是匹配的，但不知何故它失败了。

我也上传了类似的小文件（相同的 UTF-8 Unicode（带 BOM）文本）

任何帮助表示赞赏！

标签： sqlgreenplum

解决方案

张贴在另一个线程 - 使用iconv命令从文件中删除这些字符。Greenplum 默认使用字符集进行实例化UTF-8，并且要求所有字符都是指定字符集。您还可以选择使用 EXTERNAL TABLE 的 LOG ERRORS 子句记录这些错误。这将捕获不良数据并允许您继续设置在创建期间指定的 LIMIT。

iconv -f utf-8 -t utf-8 -c file.txt

将清理您的 UTF-8 文件，跳过所有无效字符。

-f is the source format
-t the target format
-c skips any invalid sequence

推荐阅读