时间戳

首页 > 解决方案 > Hive：为现有文件夹结构添加分区

hadoop - Hive：为现有文件夹结构添加分区

问题描述

我在 HDFS 中有一个文件夹结构，如下所示。但是，实际上没有使用这些ALTER TABLE ADD PARTITION命令在表上创建分区，即使文件夹结构已设置为好像表具有分区一样。

如何自动将所有分区添加到 Hive 表？（Hive 1.0，外部表）

/user/frank/clicks.db
  /date=20190401
    /file0004.csv
  /date=20190402
    /file0009.csv
  /date=20190501
    /file0000.csv
    /file0001.csv
...etc

标签： hadoophivehdfspartitioninghive-partitions

解决方案

使用 msck 修复表命令：

MSCK [REPAIR] TABLE tablename;

或者

ALTER TABLE tablename RECOVER PARTITIONS;

如果您在 EMR 上运行 Hive。

在此处阅读有关这两个命令的更多详细信息：恢复分区

推荐阅读