首页 > 解决方案 > 创建一个红移表 ddl 以匹配镶木地板文件

问题描述

我有一些镶木地板文件,我想将它们推入红移。我对 parquet 模式不太熟悉,但我使用 parquet-tools schema cli 命令来获取列名。这适用于我拥有的一些镶木地板,因为我已经能够成功地将命令复制到我使用从使用中获得的模式设置的红移表中:parquet-tools 模式。

但是,当镶木地板具有“重复组列表”时,我在创建适当的表以容纳镶木地板中的数据时遇到了麻烦。我尝试过的一切都导致复制命令失败,所以任何帮助将不胜感激,谢谢!这是我的镶木地板文件架构的输出:

 message spark_schema {
  optional binary guid (UTF8);
  optional binary orgName (UTF8);
  optional binary isOrgAuthoritative (UTF8);
  optional binary degree (UTF8);
  optional binary degreeGuid (UTF8);
  optional binary graduationDate (UTF8);
  optional group academicHonors (LIST) {
    repeated group list {
      optional group element {
        optional binary honor (UTF8);
        optional binary honorGuid (UTF8);
        optional binary startDate (UTF8);
        optional binary endDate (UTF8);
        optional binary isStartDateComputed (UTF8);
        optional binary isEndDateComputed (UTF8);
        optional binary reportedDate (UTF8);
      }
    }
  }
  optional binary startDate (UTF8);
  optional binary endDate (UTF8);
  optional binary isStartDateComputed (UTF8);
  optional binary isEndDateComputed (UTF8);
  optional binary reportedDate (UTF8);
}

标签: mysqlamazon-redshiftparquet

解决方案


推荐阅读