首页 > 解决方案 > 执行两个 tHiveRow 组件后,第一个组件仍在写入数据,而第二个组件已开始移动导致问题的数据

问题描述

我有一个运行 2 个 tHiveRow 组件的 Talend 作业。

第一个加载带有INSERT OVERWRITE语句的临时表,数据量约为 500,000 行。第二个 tHiveRow 执行一个merge语句来更新新的和更改的数据。

第一个 tHiveComponent 有日志,所以第二个 tHiveRow 组件启动

“在子作业上确定”

一切都完成了,没有错误被抛出。但是,暂存表中的数据比洞察表中的数据更新。

暂存表数据应该都在洞察表中,但有些缺失。当第二个开始时,似乎第一个 tHiveRowINSERT OVERWRITE没有完成。我怎样才能确保它在下一个开始之前完成?

我尝试在第一个作业完成后使用“On Subjob OK”和“ON Component OK”来触发第二个作业,但面临同样的问题。

标签: hivetalend

解决方案


推荐阅读