hadoop - 为什么 sqoop 增量作业没有在 Metastore 中保存上次更新的值？

Question

我正在使用 sqoop 将数据从 Oracle 导入 HDFS。

我每天导入大约 30 个表（增量）。

今天我刚刚发现我的 sqoop 工作没有在 Metastore 中保存上次更新的值。每天使用保存列值进行增量导入。

以下是前两天的日志：-

2019 年 5 月 5 日-

19/05/05 01:37:10 INFO tool.ImportTool: Lower bound value: 
TO_TIMESTAMP('2019-04-26 21:25:19.0', 'YYYY-MM-DD HH24:MI:SS.FF')
19/05/05 01:37:10 INFO tool.ImportTool: Upper bound value: 
TO_TIMESTAMP('2019-05-04 21:25:25.0', 'YYYY-MM-DD HH24:MI:SS.FF')

2019 年 5 月 6 日-

19/05/06 01:37:34 INFO tool.ImportTool: Lower bound value: 
TO_TIMESTAMP('2019-04-26 21:25:19.0', 'YYYY-MM-DD HH24:MI:SS.FF')
19/05/06 01:37:34 INFO tool.ImportTool: Upper bound value: 
TO_TIMESTAMP('2019-05-05 21:25:23.0', 'YYYY-MM-DD HH24:MI:SS.FF')

在这里，您可以看到它使用 2019-04-26 21:25:19.0 上次更新的值。它会使我目的地的数据重复。

那么我应该怎么做才能解决这个问题呢？

对此的任何帮助将不胜感激。

谢谢

标签： hadoopsqoopsqoop2