首页 > 解决方案 > 将镶木地板文件从 Hive 复制到 Vertica 的时间戳问题

问题描述

我们有一个外部配置单元表,其中 Parquet 文件支持在 S3 位置,如下所示。 在此处输入图像描述

我们的 EMR 在 PDT/PST 时区运行。我们使用 vertica copy 命令将此数据从 hive 复制到 vertica。我们的 Vertica 集群也在 PDT/PST 中。

11 月 3 日(时间更改为 PST),当 EMR 对上述数据运行复制命令时,vertica 中的时间戳滞后一个小时,如下所示

在此处输入图像描述

在 hive 和 vertica 中用于日期字段的数据类型是“时间戳”。

谁能解释为什么会发生这个问题以及如何解决它?

标签: hiveparquetverticamicrofocus

解决方案


我怀疑 HiveTIMESTAMP暗示了TIMESTAMP WITH TIMEZONE。我知道 Vertica 将两者视为两种不同的数据类型。

值得尝试沿着这条路进行调查......


推荐阅读