hadoop - sqoop会删除所有现有的数据文件吗？

Question

我使用以下命令 通过sqoop将数据从 RDBMS 导入到 HDFS ：sqoop import --connect ... --table ... --hive-import --hive-table --m 20 等。所以这个命令将在 hdfs 的一个目录下创建 20 个文件。

如果我稍后决定导入其他数据并覆盖现有数据，我将使用以下命令：sqoop import --connect ... --table ... --hive-import --hive-overwrite --hive-table --m 10.

sqoop的行为是什么？

1. Sqoop 将转到该目录并删除所有以前的 20 个文件并创建 10 个新文件。
2. Sqool 将删除 20 个文件中的所有数据，然后将新数据写入现有 20 个随机文件中的 10 个。

标签： hadoophivesqooprdbms

Answer 1

Option 1

Sqoop 将只是overwrite the existing 20 files with new 10 files.

有关更多信息，请参阅此链接和此链接。