amazon-web-services - 将数据从 Hive 写入 Amazon S3，同时维护表分区目录结构

Question

假设我在 Hive 中有一个名为 T1 的表。它由列 dt 分区，这是一个日期字段。在 hive 元存储中，目录结构有一个名为 T1 的文件夹，其中包含子目录 - 每个日期一个文件夹。

我的目标是将表的数据复制到 Amazon S3 中，同时保持目录结构。如果我尝试将表内容直接写入 S3 文件，如下所示，输出将作为单个文件写入并且目录结构会丢失：

INSERT OVERWRITE DIRECTORY "s3://<DESTINATION>" SELECT * FROM T1;

或者，如果我尝试使用命令将目录从 HIVE-metatore 直接复制到 s3，则整个目录将复制到 S3，但基础文件不再以逗号分隔......而是一些不可读的字符：

s3-dist-cp --src=hdfs://<directory location> --dest=s3://<destination>

谁能帮我完成这个？有什么建议或替代方案吗？

标签： amazon-web-serviceshadoopamazon-s3hiveamazon-athena

Answer 1

可能的解决方案是创建具有相同架构的表并将位置设置为所需位置，然后使用 Hive 和动态分区加载数据：

create table T2 like T1;

Alter table T2 set location = 'your destination location';

set hive.exec.dynamic.partition=true; 
set hive.exec.dynamic.partition.mode=nonstrict;

Insert overwrite table T2 partition (dt)
select * from T1
distribute by dt;